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图 100 多 则 立竿见影 的 shell 脚 本 攻略 
图 解决 系统 管理 现实 问题 ， 实 现 繁琐 任务 自动 化 ， 轻 松 驾 驭 Linux 操 作 系 统 
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效 字 有 版权 声明 


图 灵 社 区 的 电子 书 没有 采用 专 有 客 
户 端 ， 您 可 以 在 任意 设备 上 ， 用 自 
己 喜 欢 的 浏览 器 和 PDF 阅读 器 进行 
阅读 。 

但 您 购买 的 电子 书 仅 供 您 个 人 使 用 ， 
未 经 授权 ， 不 得 进行 传播 。 

我 们 愿意 相信 读者 具有 这 样 的 良知 
和 觉悟 ， 与 我 们 共同 保护 知识 产权 。 


如 果 购 买 者 有 侵权 行为 ， 我 们 可 能 
对 该 用 户 实 施 包括 但 不 限于 关闭 该 
帐号 等 维权 措施 ， 并 可 能 追究 法 律 
责任 。 


Clif Flynt 
Tcl/Tk 及 Linux 用 户 社区 活路 分子， 经 常 在 技 

会 议和 用 户 小 组 中 发 表演 说 。Noumena 
公司 创始 人 ， 负 责 开发 定制 软件 和 举办 培训 
课程 。 另 著 有 Tcl/Tk: A Developer’s Guide 
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Sarath Lakshman 
Linux 天 才 程 序 员 ， 开 源 软 件 及 GNU/Linux 
活路 分子，SLYNUX(2005) 开 发 者 ，Linux 
For You 专 栏 作家 。 在 Fedora、Pardus 
Linux、PiTiVi、Ubuntu 以 及 Google 编 程 夏 
令 营 等 项 目 中 均 做 出 了 不 可 估量 的 贡献 。 


Shantanu Tushar 

GNU/Linux 用 户 ，KDE 社 区 重要 贡献 者 ， 维 
护 着 Calligra Active (用 于 Tablets 的 KDE 
办 公文 档 查 看 器 ) 、Plasma Media Center 
以 及 Gluon Player。Shantanu 坚 信 终 有 一 
天 编程 会 变 得 无 比 轻松 ， 每 个 人 都 会 热衷 于 
为 计算 机 编写 程序 。 


译 者 简介 


闻 住 

GNU /Linux 深 度 用 户 , 喜欢 溯 本 求 源 , 挖掘 
技术 背后 的 来 龙 去 脉 ， 对 程序 语言 设计 理论 、 
编译 技术 、 操 作 系统 设计 与 实现 、Web 开 发 等 
领域 均 有 涉 猫 ， 译 著 包 括 《TCP Sockets 编 
程 》《 精 通 JavaScript (第 2 版 ) 》《Linux 命 令 
行 与 shell 脚 本 编程 大 全 (第 3 版 ) 》 以 及 本 书 
前 两 版 等 。 
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内 容 提要 








本 书 结合 丰富 的 实际 案例 介绍 了 如 何 利用 shell 命令 实现 与 Linux 操作 系统 的 高 效 沟通 
各 类 日 常任 务 以 及 如 何 利用 shell 命令 更 快速 地 解决 问题 ; 编写 脚本 从 Web 上 
本 中 与 简单 的 Web API 进行 交互 ; 任务 的 执行 及 自动 化 ; 创建 及 乡 





















































上 县 


,具体 内 容 包 括 : 


挖掘 数据 并 进行 处 理 ; 在 脚 








护 :文件 和 文件 夹 归档 ， 生 


上 用 shell 进行 


压缩 和 加 密 。 作 为 第 3 版 ， 书 中 讲解 了 最 新 的 Linux 发 行 版 中 加 入 的 令 人 激动 的 新 特性 ， 帮 助 你 完成 从 未 


想到 过 的 功能 。 








本 书 适合 Linux 系统 管理 员 和 程序 员 阅 读 ， 是 编写 Shell 脚本 的 绝 佳 参 考 资料 。 
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了 路 
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本 书 将 向 你 展示 如 何 驾 驶 Linux 操 作 系 统 。 书 中 描述 了 如 何 执 行 诸如 文件 查找 这 类 常见 任 
务 , 解释 了 复杂 的 系统 管理 工作 ,例如 系统 监控 和 调 优 ， 还 讨论 了 网 络 、 安 全 、 应 用 分 发 以 及 
云 的 应 用 。 


普通 用 户 会 乐于 看 到 重新 格式 化 照片 、 下 载 视频 和 音频 文件 以 及 文件 归档 这 些 技巧 。 
高 级 用 户 可 以 从 中 找到 复杂 问题 的 解决 攻略 及 详细 讲解 ， 比 如 备份 、 版 本 控制 和 网 络 分 组 


嗅 探 。 


系统 管理 员 和 集群 管理 员 则 能 够 学 会 利用 容器 、 虚 拟 机 和 云 来 简化 自己 的 工作 。 























本 书 内 容 


第 1 章 : 小 试 牛 刀 。 本 章 讲解 了 命令 行 的 用 法 、bash 脚 本 的 编写 与 调试 ， 以 及 管道 和 shell 
配置 。 


第 2 章 : 命令 之 乐 。 本 章 介绍 了 一 些 可 用 于 命令 行 或 bash 脚 本 中 的 常用 Linux 命 令 。 另 外 还 讲 
解 了 如 何 从 文件 中 读 取 数据 ， 按 照 名 称 、 类 型 或 日 期 查找 文件 以 及 进行 文件 比较 。 


第 3 章 : 以 文件 之 名 。 本 章 讲 解 了 文件 的 相关 操作 ,其 中 包括 文件 的 查找 与 比较 、 文 本 搜索 、 
目录 导航 以 及 处 理 图 像 和 视频 文件 。 


第 4 章 : 让 文本 飞 。 本 章 讲 解 了 如 何 使 用 正则 表达 式 以 及 awk、sed 和 grep 命 令 。 

第 5 章 : 一 团 乱 麻 ? 没 这 回 事 ! 本 章 讲解 了 在 不 使 用 浏览 器 的 情况 下 如 何 实现 Web 交 互 。 另 
外 还 演示 了 如 何 利 用 脚本 检查 网 站 中 的 无 效 链接 ， 以 及 下 载 及 解析 HTML 数 据 。 

第 6 章 : 仓库 管理 。 本 章 介 绍 了 如 何 使 用 Git 和 Fossil 进 行 版 本 控制 ， 跟 踪 变 更 以 及 维护 历史 
记录 。 

第 7 章 : B 计 划 。 本 章 讨 论 了 传统 的 和 现代 的 Linux 备 份 工具 。 磁 盘 容量 越 大 ， 你 要 备份 的 东 
西 就 越 多 。 
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第 8 章 : 无 网 不 利 。 本 章 讲解 了 网 络 配置 及 排 错 、 网 络 共享 以 及 搭建 VPN。 


第 9 章 : 明察秋毫 。 本 章 会 帮助 你 了 解 系统 的 运行 细节 ， 另 外 还 讲解 了 如 何 跟踪 磁盘 及 内 存 
的 使 用 情况 、 跟 踪 登 录用 户 以 及 检查 日 志文 件 。 


第 10 章 : 管理 重任 。 本 章 讲解 了 如 何 管理 任务 、 向 用 户 发 送信 息 、 调 度 自 动 化 任务 、 书 写 工 
作文 档 以 及 有 效 地 使 用 终端 。 


第 11 章 : 更 迹 寻 踪 。 本 章 讲解 了 如 何 通 过 嗅 探 网 络 找 出 故障 所 在 以 及 跟踪 库 和 系统 调用 中 的 







































































第 12 章 : 系统 调 优 。 本章 帮助 你 理解 如 何 提升 系统 性 能 ， 如 何 有 效 地 使 用 内 存 、 磁 盘 、LO 
以 及 CPU。 

第 13 章 : 在 云端 。 本章 讲解 了 何 时 以 及 如 何 利用 容器 、 虚 拟 机 和 云 来 分 发 应 用 程序 和 共享 
数据 [eo 











阅读 本 书 要 求 


本 书 中 所 讲 到 的 攻略 可 以 运行 在 任何 安装 了 Linux 操 作 系统 的 计算 机 上 一 无论 是 树 莓 派 还 
是 IBM 大 型 机 。 



































本 书 读者 对 象 


无 论 你 是 新 手 还 是 经 验 老 到 的 系统 管理 员 , 都 可 以 从 本 书 中 受益 。 书 中 兼顾 了 基本 工具 和 高 
级 概念 ， 除 此 之 外 ， 还 有 各 种 实用 技巧 。 


























小 节 

在 本 书 中 ,你 会 发 现 有 些 标题 频繁 地 出 现 ( 预备 知识 、 实 战 演练 、 工 作 原 理 、 补 充 内 容 以 及 
参考 )。 

为 了 清晰 地 指明 如 何 完 成 攻略 ,我 们 使 用 了 下 面 这 些小 节 。 

预备 知识 

本 节 中 给 出 了 攻略 的 要 求 ， 讲 述 了 实现 该 攻略 所 需要 设置 的 软件 或 其 他 预备 知识 。 
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实战 演练 

本 节 包 含 了 实现 攻略 所 要 完成 的 步 又 。 

工作 原理 

本 市 通常 详细 解释 了 实现 步骤 背后 的 原理 。 

补充 内 容 

为 了 加 深 用 户 的 理解 ， 本 节 给 出 了 有 关 攻 略 的 一 些 扩 展 信息 。 
参考 


本 节 提 供 了 其 他 相关 的 信息 源 。 








本 书 约定 
本 书 用 多 种 不 同 格式 的 文本 来 区 分 不 同 种 类 的 信息 。 下 面 是 各 类 格式 的 例子 及 其 所 代表 的 
含义 。 

正文 中 的 代码 、 用 户 输入 会 像 这 样 显示 :“shebang 是 一 个 文本 行 ， 其 中 #! 位 于 解释 器 路 径 
之 前 。 

代码 块 以 如 下 形式 显示 : 
































$> enV 
PWD=/home/clif/ShellCookBook 
HOME=/home/clif 
SHELL=/bin/bash 

# ... And many more lines 


如 果 我 们 希望 你 注意 代码 块 的 某 个 部 分 ,会 使 用 粗 体 显示 相关 的 代码 行 或 条 目 : 

















$> enyv 
PWD=/home/clif/shellCookBook 
HOME=/home/clif 
SHELL=/bin/bash 

# ... And many more lines 


命令 行 输入 或 输出 写成 如 下 形式 : 
$ chmod a+x sample.sh 


新 术语 和 重要 的 词句 显示 为 黑体 。 
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i 警告 或 重要 的 提示 出 现在 这 里 。 
人 建议 和 窍门 则 会 以 这 种 方式 出 现 。 


读者 反馈 
十 分 欢迎 读者 提供 反馈 意见 。 我 们 想 知 道 你 对 本 书 的 看 法 : 喜欢 哪些 部 分 , 不 喜欢 哪些 部 分 。 
这 些 反 馈 对 于 协助 我 们 编写 出 真正 对 读者 有 所 神 益 的 书 至 关 重 要 。 
你 只 需要 问 feedback@packtpub.com 发 送 电 子 邮 件 ， 并 在 邮件 标题 中 注 明 书 名 即 可 。 


如 果 你 在 某 方面 有 所 专长 并 且 愿 意 参 与 图 书 编写 或 出 版 ， 请 参阅 我 们 的 作者 指南 www. 
packtpub.com/authors。 



































客户 支持 
现在 你 已 经 拥有 了 这 本 由 Packt 出 版 的 图 书 ， 为 了 让 此 书 尽 可 能 地 物 有 所 值 ， 我 们 还 为 你 提 
供 了 其 他 诸多 方面 的 服务 。 


下 载 示 例 代码 


你 可 以 在 http://www.packtput.com 下 载 本 书 的 示例 代码 ,如果 你 是 在 其 他 地 方 购买 的 本 书 的 英 
文 版 ， 可 以 访问 http://www.packtput.com/support 并 注册 ， 示 例 代 码 将 用 电子 邮件 发 送 给 你 。 


按照 以 下 步骤 下 载 代 码 : 


(1) 使 用 电子 邮件 地 址 和 密码 登录 或 注册 ; 

(2) 将 鼠标 指针 放 在 页 面 顶部 的 UPPORT 标 签 上 ; 
(3) 点 击 Code Downloads & Errata; 

(4) 在 Search 框 中 输入 书 名 ; 

(5) 选择 你 要 下 载 代码 的 书 ; 

(6) 从 下 拉 菜 单 中 选择 书本 的 购买 途径 ; 

(7) 点 击 Code Download。 


你 也 可 以 进入 Packt Publishing 的 网 站 ， 点 击 书 籍 页 面 上 的 Code Files 按 钮 来 下 载 代码 文件 。 
在 Search 栏 中 输入 书 名 就 可 以 访问 到 该 页 面 。 注 意 ， 你 需要 先 登 录 你 的 Packt 账 户 。 



































代码 文件 下 载 好 之 后 ， 使 用 最 新 版 的 解压 缩 软件 提取 其 中 的 文件 : 


口 WinRAR /7-Zip ( Windows ) 
DO Zipeg/iZip/ UnRarX (Mac ) 
DO 7-Zip / PeaZip (Linux ) 





本 书 的 配套 代码 也 可 在 GitHub 上 找到 : 


https://github.com/PacktPublishing/Linux-Shell-Scripting-Cookbook-Third-Edition。 


其 他 书籍 的 代码 和 视频 可 以 在 这 里 找到 : https://github.com/PacktPublishing/。 任 意 挑 选 吧 1 


下 载 本 书 的 彩色 图 片 


我 们 还 为 你 提供 了 含有 本 书 中 彩色 截图 /图 示 的 PDF 文件 。 这 些 彩 色 的 图 片 有 助 于 你 理解 书 中 








的 内 容 。 可 以 从 下 面 的 链接 下 载 : 


phttps://www.packtpub.comy/sitesdefaultfiles/downloads/LinuxShellScriptingCookbookTIhirdEdition _ 


ColorImages.pdf 


勘误 


尽管 我 们 已 经 竭尽 全 力 确保 本 书 内 容 准 确 , 但 错误 终 难 避免 。 如 果 你 发 现 了 书 中 的 任何 错误 ， 
无 论 是 出 现在 正文 中 还 下 是 代码 中 的 ， 我 们 都 非常 乐于 见 到 你 将 错误 提交 给 我 们 。 这 样 不 仅 能 够 减 
少 其 他 读者 的 困惑 ， 还 能 帮助 我 们 改进 本 书后 续 版 本 的 质量 。 如 果 需 要 提交 勘误 ， 请 访问 
http:/www.packtpub.com/submit-errata ， 选 择 相 应 的 书 名 ， 单 击 Errata Submission Form 链 接 ， 就 
































可 以 开始 输入 详细 的 勘误 信息 了 。 ”一旦 其 
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本 章 内 容 

口 在 终端 中 显示 输出 口 调试 脚本 

口 使 用 变量 与 环境 变量 口 函数 和 参数 

口 使 用 函数 添加 环境 变量 口 将 一 个 命令 的 输出 发 送 给 另 一 个 命令 
口 使 用 shell 进 行 数学 运算 口 在 不 按 下 回 车 键 的 情况 下 读 人 xz 个 字符 
口 玩 转 文件 描述 符 与 重 定向 口 持续 运行 命令 直至 执行 成 功 

口 数组 与 关联 数组 口 字段 分 隔 符 与 迭代 顺 

口 别名 口 比较 与 测试 

口 采集 终端 信息 口 使 用 配置 文件 定制 bash 

口 获取 并 设置 日 期 及 延 时 





1.1 简介 


起 初 , 计算 机 从 卡片 或 磁带 中 读 入 程序 并 生成 单个 报表 。 没 有 操作 系统 ， 也 没有 图 形 化 显示 
器 ， 甚 至 连 交互 式 提示 符 都 没有 。 


到 了 20 世 纪 60 年 代 ， 计 算 机 开始 支持 使 用 交互 式 终端 (通常 是 电 传 打字 设备 或 高 级 打字 机 ) 
来 调用 命令 。 

当 贝 尔 实验 室 为 全 新 的 Unix 操 作 系统 创建 了 交互 式 用 户 界面 之 后 , 计算 机 便 拥有 了 一 项 独 有 
的 特性 。 它 可 以 从 文本 文件 〈 称 为 shell 脚 本 ) 中 读 取 并 执行 命令 ， 就 好 像 这 些 命令 是 在 终端 中 输 
入 的 一 样 。 

这 种 能 力 是 生产 力 上 的 一 次 巨大 飞跃 。 程 序 员 们 再 也 不 用 输入 一 堆 命 令 来 执行 一 系列 操作 ， 
只 需要 把 这 些 命令 保 存在 文件 中 ,随后 轻 敲 几 次 按键 运行 这 个 文件 就 可 以 了 。shell 脚 本 不 仅 节省 
了 时 间 ， 而 且 清 楚 明 白地 表明 了 所 执行 的 操作 。 
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Unix 刚 开始 只 支持 一 种 交互 式 shell， 它 是 由 Stephen Bourne 所 编写 的 Bourne Shell ( sh )。 


1989 年 ，GNU 项 目的 Brian Fox 吸 收 了 大 量 其 他 用 户 界面 的 特性 ， 编 写 出 了 一 种 全 新 的 shell: 
Bourne Again Shell ( bash )。bash shell 与 Bourne Shell 完 全 兼容 ， 同 时 又 增添 了 一 些 来 自 csh、ksh 
等 的 功能 。 

随 着 Linux 成 为 最 流行 的 类 Unix 操 作 系 统 实现 ，bash shell 也 变 成 了 Unix 和 Linux 中 既成 事实 的 
标准 shell。 


本 书 关注 的 是 Linux 和 bash。 即便 如 此 , 书 中 的 大 部 分 脚本 都 可 以 运行 在 使 用 了 bash、 sh、ash、 
dash、ksh 或 其 他 sh 风格 shell 的 Linux 和 Unix 系 统 中 。 


本 章 将 带领 读者 熟悉 shell 环 境 并 演示 一 些 基本 的 shell 特 性 。 






































1.2 在 终端 中 显示 输出 

用 户 是 通过 终端 会 话 同 shell 环 境 打交道 的 。 如 果 你 使 用 的 是 基于 图 形 用户 界 面 的 系统 ,这 指 
的 就 是 终端 窗口 。 如 果 没 有 图 形 用 户 界 面 ( 生产 服务 器 或 SSH 会 话 )， 那 么 登录 后 你 看 到 的 就 是 
shell 提 示 符 。 


在 终端 中 显示 文本 是 大 多 数 脚本 和 实用 工具 经 常 需要 执行 的 任务 。shell 可 以 使 用 多 种 方法 和 
格式 显示 文本 。 



























































1.2.1 预备 知识 


命令 都 是 在 终端 会 话 中 输入 并 执行 的 。 打 开 终 端 时 会 出 现 一 个 提示 符 。 有 很 多 方法 可 以 配置 
提示 符 ， 不 过 其 形式 通常 如 下 : 





username@hostnames 


或 者 也 可 以 配置 成 rootehostname #， 或 者 简单 地 显示 为 $ 或 #。 
s 表 示 普 通用 户 ，# 表 示 管 理 员 用 户 root。root 是 Linux 系 统 中 权限 最 高 的 用 户 。 














以 root 用 户 ( 管理 员 ) 的 身份 直接 使 用 shell 来 执行 任务 可 不 是 个 好 主意 。 因 
为 如 果 shell 具 备 较 高 的 权限 ， 命 令 中 出 现 的 输入 错误 有 可 能 造成 更 严重 的 破坏 ， 
0 所 以 推荐 使 用 普通 用 户 ( shell 会 在 提示 符 中 以 $ 来 表明 这 种 身份 ) 登录 系统 ， 然 
后 借助 sudo 这 类 工具 来 运行 特权 命令 。 使 用 sudo <command> <arguments> 执 
行 命令 的 效果 和 root 一 样 。 





shell 脚 本 通常 以 shebang" 起 始 : 


!/bin/bash 

















shebang 是 一 个 文本 行 , 其 中 #:! 位 于 解释 器 路 径 之 前 。/bin/bash 是 Bash 的 解释 器 命令 路 径 。bash 
将 以 # 符 号 开头 的 行 视 为 注释 。 脚 本 中 只 有 第 一 行 可 以 使 用 shebang 来 定义 解释 该 脚本 所 使 用 的 解 
释 希 。 

















脚本 的 执行 方式 有 两 种 。 
(1) 将 脚本 名 作为 命令 行 参数 : 
bash myScript.sh 
(2) 授予 脚本 执行 权限 ， 将 其 变 为 可 执行 文件 : 


chmod 755 myScript .sh 
./myScript.sh. 








如 果 将 脚本 作为 bash 的 命令 行 参数 来 运行 ,那么 就 用 不 着 使 用 shebang 了 。 可 以 利用 shebang 
来 实现 脚本 的 独立 运行 。 可 执行 脚本 使 用 shebang 之 后 的 解释 器 路 径 来 解释 脚本 。 
使 用 chmod 命 令 赋予 脚本 可 执行 权限 : 








$ chmod a+x sample.sh 


该 命令 使 得 所 有 用 户 可 以 按照 下 列 方式 执行 该 脚本 : 
$ ./sample.sh 


或 者 


#./ 表 示 当 前 目录 


$ /home/path/sample.sh # 使 用 脚本 的 完整 路 径 


内 核 会 读 取 脚本 的 首 行 并 注意 到 shebang 为 #1!1/bin/bash。 它 会 识别 出 /bin/bash 并 执行 该 
脚本 : 
$ /bin/bash sample.sh 


当 启 动 一 个 交互 式 shell 时 ， 它 会 执行 一 组 命令 来 初始 化 提示 文本 、 颜 色 等 设置 。 这 组 命令 来 
自用 户主 目录 中 的 脚本 文件 ~/.bashre( 对 于 登录 shell 则 是 ~/.bash_profile )。Bash shell 还 维护 了 一 
个 历史 记录 文件 ~/.bash_history， 用 于 保存 用 户 























2 


运行 过 的 命令 。 














GD shebang 这 个 词 其 实 是 两 个 字符 名 称 ( sharp-bang ) 的 简写 。 在 Unix 的 行 话 里 ， 用 sharp 或 hash (有 了 时候 是 mesh ) 来 
称呼 字符 “#”， 用 bang 来 称呼 惊叹 号 “!”， 因 而 shebang 合 起 来 就 代表 了 这 两 个 字符 。 详 情 请 参考 : 
http://en.wikipedia.org/wiki/ Shebang (Unix)。( 注 : 书 中 脚注 均 为 译 者 注 。) 
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~ 表示 主 目 录 ， 它 通常 是 /home/user， 其 中 usetr 是 用 户 名 ， 如 果 是 root 用 
户 , 则 为 /z*oot。 和 登录 shell 是 登录 主机 后 创建 的 那个 shell。 但 登录 图 形 化 环境 ( 比 
如 GNOME、KDE 等 ) 后 所 创建 的 终端 会 话 并 不 是 登录 shell。 使 用 GNOME 或 KDE 
这 类 显示 管理 器 登录 后 并 不 会 读 取 .profile 或 .bash profile ( 绝 大 部 分 情况 下 不 
会 )， 而 使 用 ssh 登 录 远 程 系统 时 则 会 读 取 .profile。shell 使 用 分 号 或 换行 符 来 分 隔 
0 单个 命令 或 命令 序列 。 比 如 : 


$ cmd1 ; cmd2 


这 等 同 于 : 


$ cmd1 
$ cmqd2 


注释 部 分 以 # 为 起 始 ， 一 直 延 续 到 行 尾 。 注 释 行 通常 用 于 描述 代码 或 是 在 调试 期 间 禁 止 执行 
某 行 代码 ”: 


# sample.sh - echoes "hello world" 
echo "hello world" 


现在 让 我 们 继续 讨论 基本 特性 。 












































1.2.2 ”实战 演练 
echo 是 用 于 终端 打印 的 最 基本 命令 。 


默认 情况 下 ，echo 在 每 次 调用 后 会 添加 一 个 换行 符 : 





$ echo "Welcome to Bash" 
Welcome to Bash 


只 需要 将 文本 放 入 双 引 号 中 ，echo 命 令 就 可 以 将 其 中 的 文本 在 终端 中 打印 出 来 。 类 似 地 ， 
不 使 用 双 引 号 也 可 以 得 到 同样 的 输出 结果 : 





$ echo Welcome to Bash 
Welcome to Bash 


实现 相同 效果 的 另 一 种 方式 是 使 用 单 引 号 : 




















$ echo 'text in quotes' 
这 些 方法 看 起 来 相似 , 但 各 有 特定 的 用 途 及 副作用 。 双 引号 允许 shell 解 释 字 符 串 中 出 现 的 特 
殊 字符 。 单 引号 不 会 对 其 做 任何 解释 。 


思考 下 面 这 行 命令 : 





Q shell 不 执行 脚本 中 的 任何 注释 部 分 。 





$ echo "cannot include exclamation - ! within double quotes" 
人 和信、 人 人 

命令 输出 如 下 : 

bash: !: event not found error 


如 果 需 要 打印 像 ! 这 样 的 特殊 字符 ， 那 就 不 要 将 其 放 入 双 引 号 中 ， 而 是 使 用 单 引号 ,或 是 在 
特殊 字符 之 前 加 上 一 个 反 斜 线 (\): 


$ echo Hello world ! 
或 者 

$ echo 'Hello world !' 
或 者 

$ echo "Hello world \!" # 将 转 义 字符 放 在 前 面 

如 果 不 使 用 引号 ， 我 们 无 法 在 echo 中 使 用 分 号 ， 因 为 分 号 在 Bash shell 中 用 作 命 令 间 的 分 
隔 符 ; 

echo hello; hello 

对 于 上 面 的 命令 ，Bash 将 echo hello 作 为 一 个 命令 ， 将 hello 作 为 另外 一 个 命令 。 

在 下 一 条 攻略 中 将 讨论 到 的 变量 替换 不 会 在 单 引 号 中 执行 。 

另 一 个 可 用 于 终端 打印 的 命令 是 printf。 该 命令 使 用 的 参数 和 C 语 言 中 的 printf 函 数 一 样 。 
例如 : 

$ printf "Hello world" 

printf 命 令 接受 引用 文本 或 由 空格 分 隔 的 参数 。 我 们 可 以 在 printf 中 使 用 格式 化 字符 串 来 
指定 字符 串 的 宽度 、 左 右 对 齐 方 式 等 。 默 认 情 况 下 ，printf 并 不 会 自动 添加 换行 符 ， 我 们 必须 
在 需要 的 时 候 手 动 指定 ， 比 如 在 下 面 的 脚本 中 : 


#!/bin/bash 
# 文 件 名 : printf.sh 
































printf "%-5s %-10s %-4s\n" No Name Mark 
printf "%-5s %-10s %-4.2f\n" 1 Sarath 80.3456 
printf "%-5s %-10s %-4.2f\n" 2 James 90.9989 
printf "%-5s %-10s %-4.2f\n" 3 Jeff 77.564 


可 以 得 到 如 下 格式 化 的 输出 : 


No Name Mark 
1 Sarath 80.35 
2 James 91.00 
3 Jeff 77.56 
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1.2.3 ”工作 原理 


ss、gsc、gsdq 和 sf 都 是 格式 蔡 换 符 (format substitution character )， 它 们 定义 了 该 如 何 打印 后 
续 参 数 。s-5s 指 明了 一 个 格式 为 左 对 齐 且 宽度 为 5 的 字符 串 替 换 ( -表示 左 对 齐 )。 如 果 不 指明 -， 
字符 串 就 采用 右 对 齐 形式 。 宽 度 指定 了 保留 给 某 个 字符 串 的 字符 数量 。 对 Name 而 言 ， 其 保留 宽 
度 是 10。 因 此 ,任何 Name 字 上 段 的 内 容 都 会 被 显示 在 10 字 符 宽 的 保留 区 域内 ， 如 果 内 容 不 足 10 个 
字符 ， 余 下 的 则 以 空格 填充 。 


对 于 浮 点 数 ， 可 以 使 用 其 他 参数 对 小 数 部 分 进行 伟人 (round off )。 


对 于 Mark 字 段 ， 我 们 将 其 格式 化 为 s-4.2f， 其 中 .2 指定 保留 两 位 小 数 。 注 意 ， 在 每 行 的 格 
式 字符 串 后 都 有 一 个 换行 符 (\n )。 


















































1.2.4 ”补充 内 容 

使 用 scho 和 printf 的 命令 选项 时 ， 要 确保 选项 出 现在 命令 中 的 所 有 字符 串 之 前 ， 和 否则 Bash 
会 将 其 视 为 另外 一 个 字符 串 。 

1. 在 echo 中 转 义 换行 符 
默认 情况 下 ，echo 会 在 输出 文本 的 尾部 追加 一 个 换行 符 。 可 以 使 用 选项 -n 来 禁止 这 种 行为 。 
echo 同 样 接受 双 包含 转 义 序列 的 双 引 号 字符 串 作 为 参数 。 在 使 用 转 义 序列 时 , 需要 使 用 echo -e 
"包含 转 义 序列 的 字符 囊 " 这 种 形式 。 例 如 : 


echo -e "1\t2\t3" 
1 2 3 


2. 打印 彩色 输出 

脚本 可 以 使 用 转 义 序列 在 终端 中 生成 彩色 文本 。 

文本 颜色 是 由 对 应 的 色彩 码 来 描述 的 。 其 中 包括 : 重 置 =0， 黑 色 =30， 红 色 =31， 绿 色 =32， 
黄色 =33 ， 蓝 色 =34， 洋 红 =35， 青 色 =36， 和 白色 =37。 

要 打印 彩色 文本 ， 可 输入 如 下 命令 : 

echo -e "Ne[1;31m This is red text \e[Om" 
其 中 \e[1;31m 是 一 个 转 义 字符 串 ， 可 以 将 颜色 设 为 红色 ，\e[om 将 颜色 重新 置 回 。 只 需要 将 31 替 
换 成 想 要 的 色彩 人 码 就 可 以 了 。 

对 于 彩色 背景 ， 经 常 使 用 的 颜色 码 是 : 重 置 =0， 黑 色 =40， 红 色 =41， 绿 色 =42 ， 黄 色 =43 ， 
蓝 色 =44， 洋 红 =45， 青 色 =46， 白 色 =47。 
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要 设置 彩色 背景 的 话 ， 可 输入 如 下 命令 : 
echo -e "\e[l1l;42m Green Background \e[Om" 


这 些 例子 中 包含 了 一 些 转 义 序列 。 可 以 使 用 man console_codes 来 查看 相关 文档 。 


1.3 使 用 变量 与 环境 变量 


所 有 的 编程 语言 都 利用 变量 来 存放 数据 ,以 备 随 后 使 用 或 修改 。 和 编译 型 语言 不 同 ， 大 多 数 
脚本 语言 不 要 求 在 创建 变量 之 前 声明 其 类 型 。 用 到 什么 类 型 就 是 什么 类 型 。 在 变量 名 前 面 加 上 一 
个 美元 符号 就 可 以 访问 到 变量 的 值 。shell 定 义 了 一 些 变量 ,用 于 保存 用 到 的 配置 信息 ， 比 如 可 用 
的 打印 机 、 搜 索 路 径 等 。 这 些 变量 叫 作 环境 变量 。 



































1.3.1 预备 知识 


变量 名 由 一 系列 字母 、 数 字 和 下 划 线 组 成 ,其 中 不 包含 空白 字符 。 常 用 的 惯例 是 在 脚本 中 使 
用 大 写字 母 命名 环境 变量 ,使 用 驼峰 命名 法 或 小 写字 母 命 名 其 他 变量 。 


所 有 的 应 用 程序 和 脚本 都 可 以 访问 环境 变量 。 可 以 使 用 env 或 printenv 命 令 查看 当前 shell 
中 所 定义 的 全 部 环境 变量 : 




















$> env 
PWD=/home/clif/ShellCookBook 
HOME=/home/clif 
SHELL=/bin/bash 

# 其 他 行 


要 查看 其 他 进程 的 环境 变量 ， 可 以 使 用 如 下 命令 : 








cat /proc/s$PID/environ 
其 中 ，PID 是 相关 进程 的 进程 ID ( PID 是 一 个 整数 )。 


假设 有 一 个 叫 作 gedit 的 应 用 程序 正在 运行 。 我 们 可 以 使 用 pgrep 命 令 获 得 gedit 的 进程 ID : 














$ pgrep gedit 
12501 


那么 ， 你 就 可 以 执行 以 下 命令 来 查看 与 该 进程 相关 的 环境 变量 : 


$ cat /proc/12501/environ 
GDM_KEYBOARD_LAYOUT=USGNOME_KEYRING_PID=1560USER=Ss1LynuxHOME=/home/s1LYynuX 
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注意 , 实际 输出 的 环境 变量 远 不 止 这 些 ,， 只 是 考虑 到 页 面 篇 幅 的 限制 , 这 里 


删除 了 不 少 内 容 。 

a 特殊 文件 /proc/PID/environ 是 一 个 包含 环境 变量 以 及 对 应 变量 值 的 列表 。 每 
一 个 变量 以 name=value 的 形式 来 描述 ， 彼 此 之 间 由 null 字 符 〈(\0 ) 分 隔 。 形 式 
上 确实 不 太 易 读 。 





要 想 生 成 一 份 易 读 的 报表 ， 可 以 将 cat 命 令 的 输出 通过 管道 传 给 tr， 将 其 中 的 \0 替 换 成 \n: 


$ cat /proc/12501/environ | tr '\0' '\n' 














1.3.2 ”实战 演练 
可 以 使 用 等 号 操作 符 为 变量 赋值 : 


varName=value 


varName 是 变量 名 ，value 是 赋 给 变量 的 值 。 如 果 value 不 包含 任何 空 白字 符 ( 例如 空格 ; 
那么 就 不 需要 将 其 放 入 引号 中 ， 否 则 必须 使 用 单 引 号 或 双 引 号 。 





注意 ，var = value 不 同 于 var=value。 把 var=value 写 成 var = value 
各 是 一 个 常见 的 错误 。 两 边 没有 空格 的 等 号 是 赋值 操作 符 ,加 上 空格 的 等 号 表示 的 
是 等 量 关 系 测 试 。 





在 变量 名 之 前 加 上 美元 符号 ($ ) 就 可 以 访问 变量 的 内 容 。 


var="value" # 将 "value" 冉 给 变量 var 
echo $var 


也 可 以 这 样 写 : 
echo ${var} 


输出 如 下 : 


value 
我 们 可 以 在 printf、echo 或 其 他 命令 的 双 引 号 中 引用 变量 值 : 


#!/bin/bash 

# 文 件 名 :Variables.sh 

fruit=apple 

count=5 

echo "We have $count ${fruit}(s)" 


输出 如 下 : 


We have 5 apple(s) 
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为 shell 使 用 空白 字符 来 分 隔 单词 ， 所 以 我 们 需要 加 上 一 对 花 括 号 来 告诉 shell 这 里 的 变 


是 fruit， 而 不 是 fruit(s)。 

















环境 变量 是 从 父 进 程 中 继承 而 来 的 变量 。 例 如 环境 变量 HTrTP_PROXY， 它 定义 了 Internet 连 接 
应 该 使 用 哪个 代理 服务 器 。 


该 环境 变量 通常 被 设置 成 : 


HTTP_PROXY=192.168.1.23:3128 
export HTTP_ PROXY 


export 命 令 声明 了 将 由 子 进 程 所 继承 的 一 个 或 多 个 变量 。 这 些 变量 被 导出 后 ， 当 前 shell 脚 


本 所 执行 的 任何 应 用 程序 都 会 获得 这 个 变量 。shell 创 建 并 用 到 了 很 多 标准 环境 变量 , 我 们 也 可 以 
导出 自己 的 环境 变量 。 









































例如 ，PATH 变 量 列 出 了 一 系列 可 供 shell 搜 索 特 定 应 用 程序 的 目录 。 一 个 典型 的 PATH 变 量 
含 如 下 内 容 : 

$ echo $PATH 

/home/slynux/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr 


/games 

各 目录 路 径 之 间 以 :分隔 。$PATH 通 常 定义 在 /etc/environment、/etc/profile 或 ~/.bashre 中 。 
如 果 需 要 在 PATH 中 添加 一 条 新 路 径 ， 可 以 使 用 如 下 命令 : 
export PATH="$PATH:/home/user/bin" 

也 可 以 使 用 


$ PATH="$PATH: /home/user/bin" 

$ export PATH 

$ echo $PATH 
/home/slynux/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr 
/games:/home/user/bin 


这 样 ， 我 们 就 将 /home/user/bin 添 加 到 了 PATH 中 。 
另外 还 有 一 些 众所周知 的 环境 变量 : HOME 、PWD、USER、UID、SHELIL 等 。 


使 用 单 引 号 时 ,变量 不 会 被 扩展 ( expand ), 仍 依照 原样 显示 。 这 意味 着 $ echo 














0 ‘Svar' 会 显示 Svarso 
但 如 果 变 量 Svar 已 经 定义 过 ， 那 么 S$ echo "Svar" 会 显示 出 该 变量 的 值 ，; 
如 果 没 有 定义 过 ， 则 什么 都 不 显示 。 


1.3.3 ”补充 内 容 
shell 还 有 很 多 内 建 特性 。 下 面 就 是 其 中 一 些 。 
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1. 获得 字符 串 的 长 度 
可 以 用 下 面 的 方法 获得 变量 值 的 长 度 : 
length=${#var} 


考虑 这 个 例子 : 
$ var=12345678901234567890 


$ echo ${#var} 
20 


length 就 是 字符 串 所 包含 的 字符 数 。 
2. 识别 当前 所 使 用 的 shell 
可 以 通过 环境 变量 sHELL 获 知 当 前 使 用 的 是 哪 种 shell: 


























echo $SHELL 
也 可 以 用 

echo $0 
例如 : 


$ echo $SHELL 
/bin/bash 


执行 echo $0 命令 也 可 以 得 到 同样 的 输出 : 





$ echo $0 
/bin/bash 


3. 检查 是 否 为 超级 用 户 
环境 变量 UID 中 保存 的 是 用 户 ID。 它 可 以 用 于 检查 当前 脚本 是 以 root 用 户 还 是 以 普通 用 户 的 
身份 运行 的 。 例 如 : 











If [ SUID -ne 0 ]; then 

echo Non root user. Please run as root. 
else 

echo Root user 
fi 


注意 ，[ 实 际 上 是 一 个 命令 ， 必 须 将 其 与 剩余 的 字符 串 用 空格 隔 开 。 上 面 的 脚本 也 可 以 


If test SUID -ne 0:1 
then 
echo Non root user. Please run as root. 
else 


1.4 使 用 函数 添加 环境 变量 11 





echo Root user 
fi 





root 用 户 的 UID 是 0。 


4. 修改 Bash 的 提示 字符 串 〈usernameehostname :~$) 





当 我 们 打开 终端 或 是 运行 shell 时 ， 会 看 到 类 似 于 userehostname: /home/s 的 提示 字符 串 。 
不 同 的 GNU/Linux 发 布 版 中 的 提示 字符 串 及 颜色 各 不 相同 。 我 们 可 以 利用 Ps1 环 境 变 量 来 定义 主 
提示 字符 串 。 默 认 的 提示 字符 串 是 在 文件 ~/.bashrc 中 的 某 一 行 设置 的 。 


口 查看 设置 变量 Ps1 的 那 一 行 : 











$ cat ~/.bashrc | grep PS1 
PS1l='${debian chroot:+($debian chroot)}\u@\h:\w\S 


口 如 果 要 修改 提示 字符 串 ， 可 以 输入 : 


slynux@localhost: ~S$ PS1="PROMPT>" # 提 示 字 符 串 已 经 改变 
PROMPT> Type commands here. 


口 我 们 可 以 利用 类 似 于 \e [1;31 的 特定 转 义 序列 来 设置 彩色 的 提示 字符 串 (参考 1.2 节 的 内 
容 )。 
还 有 一 些 特殊 的 字符 可 以 扩展 成 系统 参数 。 例 如 : \u 可 以 扩展 为 用 户 名 ，\h 可 以 扩展 为 主 
机 名 ， 而 \w 可 以 扩展 为 当前 工作 目录 。 








1.4 使 用 函数 添加 环境 变量 


环境 变量 通常 保存 了 可 用 于 搜索 可 执行 文件 、 库 文件 等 的 路 径 列 表 。 例 如 s$PATHE 和 
SLD_LIBRARY_PATH， 它 们 通常 看 起 来 像 这 样 : 





PATH=/usr/bin; /bin 
LD_LIBRARY_PATH=/usr/lib; /lib 


这 意味 着 只 要 shell 执 行 应 用 程序 ( 二进制 文件 或 脚本 ) 时 , 它 就 会 首先 查找 /usr/bin, 然后 查找 /bin。 

当 你 使 用 源 代 码 构建 并 安装 程序 时 ， 通 常 需要 为 新 的 可 执行 文件 和 库 文件 添加 特定 的 路 径 。 
假设 我 们 要 将 myapp 安 装 到 /opt/myapp， 它 的 三 进 制 文件 在 /opt/myapp/bin 目 录 中 ， 库 文件 在 /opt/ 
myapp /lib 目 录 中 。 























1.4.1 实战 演练 


这 个 例子 展示 了 如 何 将 新 的 路 径 添 加 到 环境 变量 的 起 始 部 分 。 第 一 个 例子 利用 我 们 目前 所 
过 的 知识 来 实现 ， 第 二 个 例子 创建 了 一 个 函数 来 简化 修改 操作 。 本 章 随后 会 讲 到 函数 。 
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export PATH=/opt/myapp/bin:$PATH 
export LD_ LIBRARY_ PATH=/opt/myapp/lib; S$LD_LIBRARY_PATH 


PATH 和 和 LD_LIBRARY_PATH 现在 看 起 来 应 该 像 这 样 : 


PATH=/opt/myapp/bin:/usr/bin:/bin 
LD_LIBRARY_PATH=/opt/myapp/lib:/usr/lib; /lib 


我 们 可 以 在 .bashrc 文 件 中 定义 如 下 函数 ， 简 化 路 径 添加 操作 : 
prepend() { [ -qd "$2" ] && eval $1=\"$2':'\SS1\" && export S1; } 
该 函数 用 法 如 下 : 


prepend PATH /opt/myapp/bin 
prepend LD_LIBRARY_PATH /opt/myapp/l1ib 


1.4.2 ”工作 原理 


函数 prependq () 首先 确认 该 函数 第 二 个 参数 所 指定 的 目录 是 否 存在 。 如 果 存 在 ，eval1 表 达 
式 将 第 一 个 参数 所 指定 的 变量 值 设 置 成 第 二 个 参数 的 值 加 上 : (路 径 分 隔 符 ), 随后 再 跟 上 第 一 个 
参数 的 原始 值 。 

在 进行 添加 时 ， 如 果 变 量 为 空 ， 则 会 在 末尾 留 下 一 个 :。 要 解决 这 个 问题 ， 可 以 对 该 函数 再 
做 一 些 修改 : 


prepend() { [ -QQ "$2" ] && eval $1=\"$2\$S\{S81:+':'\SS1I\}\" && export $1 ; } 


在 这 个 函数 中 ， 我 们 引入 了 一 种 shell 参 数 扩展 的 形式 : 











sf{parameter:+expression} 
0 如 果 parameter 有 值 且 不 为 空 ， 则 使 用 expression 的 值 。 
通过 这 次 修改 ,在 向 环境 变量 中 添加 新 路 径 时 , 当 且 仅 当 旧 值 存在 , 才 会 增加 :。 


1.5 使 用 shell 进行 数学 运算 





Bash shell 使 用 1et 、(( [] 执 行 基本 的 算术 操作 。 工 具 expr 和 bc 可 以 用 来 执行 高 级 操作 。 
实战 演练 








(1) 可 以 像 为 变量 分 配 字符 串 值 那样 为 其 分 配 数值 。 这 些 值 会 被 相应 的 操作 符 视 为 数字 。 


#!/bin/bash 
nol=4; 
no2=57 


1.$ 使 用 shell 进行 数学 运算 13 











(2) let 命 令 可 以 直接 执行 基本 的 算术 操作 。 当 使 用 Let 时 , 变量 名 之 前 不 需要 再 添加 $ , 例如 : 


let result=nol+no2 
echo $result 


let 命 令 的 其 他 用 法 如 下 : 
口 自 加 操作 

$ let nol+t+ 
口 自 减 操作 

$ let nol-- 


口 简写 形式 











let no+=6 
let no-=6 


它们 分 别 等 同 于 let no=no+6 和 let no=no-6。 
口 其 他 方法 
操作 符 [] 的 使 用 方法 和 1let 命 令 一 样 : 
result=$[ nol + no2 ] 
在 [中 也 可 以 使 用 $s 前 级 ,例如 : 
result=$[ $nol + 5 ] 
也 可 以 使 用 操作 符 ( () ) 。 出 现在 (() ) 中 的 变量 名 之 前 需要 加 上 $s: 
result=$(( nol + 50 )) 


expr 同 样 可 以 用 于 基本 算术 操作 : 








result= expr 3 + 4、 
result=$ (expr S$nol + 5) 


以 上 这 些 方 法 不 支持 浮 点 数 ， 只 能 用 于 整数 运算 。 


(3) bc 是 一 个 用 于 数学 运算 的 高 级 实用 工具 ， 这 个 精密 的 计算 器 包含 了 大 量 的 选项 。 我 们 可 
以 借助 它 执行 浮 点 数 运算 并 使 用 一 些 高 级 函数 : 


echo "4 * 0.56" | bc 

2.24 

no=54; 

result= ~ echo "$no * 1.5" | bc. 
echo $result 

81.0 
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bc 可 以 接受 操作 控制 前 级 。 这 些 前 级 之 间 使 用 分 号 分 隔 。 


口 设 定 小 数 精度 。 在 下 面 的 例子 中 ， 参 数 scale=2 将 小 数位 个 数 设置 为 2。 因 此 ，bc 将 
会 输出 包含 两 个 小 数位 的 数值 : 


echo "scale=2;22/7" | bc 
3.14 


进 制 转换 。 用 bc 可 以 将 一 种 进 制 系统 转换 为 男 一 种 。 来 看 看 下 面 的 代码 是 如 何在 十 进 
制 与 二 进 制 之 间 相 互 转换 的 : 


#!/bin/bash 

用 途 : 数字 转换 

no=100 

echo "obase=2;$no" | bc 

1100100 

no=1100100 

echo "obase=10;ibase=2; $no" | bc 
100 


口 计算 平方 以 及 平方 根 。 








口 











echo "sqrt(100)" | bc #Square root 
echo "10^10" | bc #Square 


1.6 玩 转 文件 描述 符 与 重 定向 


文件 描述 符 是 与 输入 和 输出 流 相关 联 的 整数 。 最 广为人知 的 文件 描述 符 是 stain、stdout 
和 stderz。 我 们 可 以 将 某 个 文件 描述 符 的 内 容重 定向 到 另 一 个 文件 描述 符 中 。 下 面 展 示 了 一 些 
文件 描述 符 操 作 和 重 定 向 的 例子 。 


1.6.1 预备 知识 


在 编写 脚本 的 时 候 会 频繁 用 到 标准 输入 ( stain )、 标 准 输出 〈staout ) 和 标准 错误 
( stderr )。 脚 本 可 以 使 用 大 于 号 将 输出 重 定 向 到 文件 中 。 命 令 产生 的 文本 可 能 是 正常 输出 ， 也 
可 能 是 错误 信息 。 默 认 情况 下 ,正常 输出 (stdaout ) 和 错误 信息 (stderr ) 都 会 显示 在 屏幕 上 。 
我 们 可 以 分 别 为 其 指定 特定 的 文件 描述 符 来 区 分 两 者 。 


文件 描述 符 是 与 茶 个 打开 的 文件 或 数据 流 相关 联 的 整数 。 文 件 描述 符 0、1 以 及 2 是 系统 预 留 的 。 


口 0 一 一 stdin (标准 输入 )。 
口 1 stdout (标准 输出 )。 
口 2 一 一 stderr (标准 错误 )。 
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1.6.2 ”实战 演练 | 


(1) 使 用 大 于 号 将 文本 保存 到 文件 中 : 
$ echo "This is a sample text 1" > temp.txt 
该 命令 会 将 输出 的 文本 保存 在 temp.txt 中 。 如 果 temp.txt 已 经 存在 , 大 于 号 会 清空 该 文件 中 


先前 的 内 容 。 
(2) 使 用 双 大 于 号 将 文本 追加 到 文件 中 : 








$ echo "This is sample text 2" >> temp.txt 


(3) 使 用 cat 查 看 文件 内 容 : 





$ cat temp.txt 
This is sample text 1 
This is sample text 2 


接着 来 看 看 如 何 重 定 向 staerr。 当 命令 产生 错误 信息 时 ,该 信息 会 被 输出 到 stgerr 流 。 考 
虑 下 面 的 例子 : 


$ 1Ss + 
1s: cannot access +: No such file or directory 


这 里 ，+ 是 一 个 非法 参数 ， 因 此 会 返回 错误 信息 。 























成 功 和 不 成 功 的 命令 


& 当 一 个 命令 发 生 错 误 并 退回 时 ， 它 会 返回 一 个 非 0 的 退出 状态 ; 而 当 命令 成 
功 完成 后 ， 它 会 返回 为 0 的 退出 状态 。 退 出 状态 可 以 从 特殊 变量 $S? 中 获得 (在 命 


| 运行 echo $?， 就 可 以 打印 出 退出 状态 )。 


邻 结束 之 后 立 诡 
下 面 的 命令 会 将 stdqert 文 本 打印 到 屏幕 上 ， 而 不 是 文件 中 (因为 stdaout 并 没有 和 输出， 所 以 
out.txt 的 内 容 为 空 ): 


$ 1s + > out.txt 
ls: cannot access +: No such file or directory 


在 下 面 的 命令 中 ， 我 们 使 用 2> ( 数字 2 以 及 大 于 号 ) 将 stderr 重 定向 到 out.txt: 

$ 1s + 2> out .txt # 没 有 问题 

你 可 以 将 staerr 和 stdout 分 别 重 定向 到 不 同 的 文件 中 : 

$ cmd 2>stderr.txt 1>stdout.txt 

下 面 这 种 更 好 的 方法 能 够 将 staerr 转 换 成 stdout ， 使 得 stdaerr 和 stdout 都 被 重 定向 到 同 
一 个 文件 中 : 
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$ cmd 2>&1 alloutput.txt 


$ cmd &> output.txt 


如 果 你 不 想 看 到 或 保存 错误 信息 , 那么 可 以 将 staerr 的 输出 重 定向 到 /dev/mull, 保证 一 切 都 


会 被 清 
- 写 - 执 行 ” 权 限 。 如 果 需 要 打印 文件 名 
一 些 测试 文件 : 








al 
a2 
a3 
al 


$ echo Al > 
$ echo A2 > 
$ echo A3 > 
$ chmod 000 # 清 除 所 有 权限 




















除 得 干 干净 净 。 假 设 我 们 有 3 个 文件 , 分 别 是 al1 、a2 、a3。 但 是 普通 用 户 对 文件 al 没有 “ 读 





以 a 起 始 的 所 有 文件 的 内 容 ， 可 以 使 用 cat 命 令 。 来 设置 





使 用 通配符 (ax* ) 显示 这 些 文件 内 容 的 话 , 系统 会 显示 出 错 信息 , 因为 文件 al 没有 可 读 权 限 : 




















$ cat ax 

cat: al: Permission denied 
A2 

A3 


其 中 ，cat: al: Permission denied 
同时 将 stdqout 信 息 发 送 到 终端 。 





$ cat a* 2> err.txt 
A2 
A3 


$ cat err.txt 








属于 stderr 信 息 。 我 们 可 以 将 其 重 定向 到 一 个 文件 中 ， 


# stderr 被 重 定向 到 err .txt 


cat: al: Permission denied 
我 们 在 处 理 一 些 命 令 输出 的 同时 还 想 将 其 保存 下 来 ， 以 备 后 用 。staout 作 为 单数 据 流 


( single stream )， 可 以 被 重 定向 到 文件 或 是 通过 
有 一 种 方法 既 可 以 将 数据 重 定向 到 文件 ， 还 可 以 提供 一 份 重 定向 数据 的 副本 作为 





命令 的 stdin。 tee 命 令 从 stqin 中 读 取 ， 





管 
省 





道 传人 其 他 程序 ， 但 是 无 法 两 者 兼 得 。 


管道 中 后 续 
然后 将 输入 数据 重 定向 到 stdout 以 及 一 个 或 多 个 文件 中 。 








已 


command | tee FILE1 FILE2 | otherCommand 


在 下 面 的 代码 中 ，tee 命 令 接 收 到 来 自 stain 的 数据 。 它 将 staout 的 一 份 副本 写 入 文件 
out.txt， 同 时 将 男 一 份 副本 作为 后 续 命 令 的 stain。 命令 cat -n 为 从 stdin 中 接收 到 的 每 一 行 数 





据 前 加 上 行 号 并 将 其 写 和 stdout: 


$ cat a* | tee out.txt | cat -n 
cat: al: Permission denied 

1 A2 

2 A3 


1.6 玩 转 文 件 描 述 符 与 重 定向 17 


使 用 cat 查 看 out.txt 的 内 容 : fa 


$ cat out.txt 
A2 
A3 














注意 ，cat: al: Permission denied 并 没有 在 文件 内 容 中 出 现 ， 因 为 
这 些 信 息 被 发 送 到 了 stderr， 而 tee 只 能 从 stdin 中 读 取 。 


默认 情况 下 ，tee 命 令 会 将 文件 覆盖 ， 但 它 提 供 了 一 个 -a 选 项 ， 可 用 于 追加 内 容 。 

$ cat ax | tee -a out.txt | cat -n 

带 有 参数 的 命令 可 以 写成 : commanq FILE1 FILE2 . . . ,或 者 就 简单 地 使 用 commanq FILE。 
要 发 送 输入 内 容 的 两 份 副本 给 staout ， 使 用 -作为 命令 的 文件 名 参数 即 可 : 

$ cmal | cmd2 | cma - 


例如 : 











$ echo who is this | tee - 
who is this 
who is this 


也 可 以 将 /dewstdin 作 为 输出 文件 名 来 代替 stdain。 类 似 地 ， 使 用 /dewstderr 代 表 标 准 错误 ， 
/dev/stdout 代 表 标 准 输 出 。 这 些 特殊 的 设备 文件 分 别 对 应 stain、stderr 和 stdout。 








1.6.3 ”工作 原理 


重 定向 操作 符 ( > 和 >> ) 可 以 将 输出 发 送 到 文件 中 ， 而 不 是 终端 。> 和 >> 略 有 差异 。 尽 管 两 
者 都 可 以 将 文本 重 定向 到 文件 , 但 是 前 者 会 先 清空 文件 ， 然 后 再 写 人 内 容 ， 而 后 者 会 将 内 容 追 加 
到 现 有 文件 的 尾部 。 


默认 情况 下 , 重 定向 操作 针对 的 是 标准 输出 。 如 果 想 使 用 特定 的 文件 描述 符 , 你 必须 将 描述 
符 编号 置 于 操作 符 之 前 。 


> 等 同 于 1>; 对 于 >> 来 说 ， 情 况 也 类 似 ( 即 >> 等 同 于 1>> )。 


处 理 错 误 时 ， 来自 staerr 的 输出 被 倾倒 入 文件 /dev/null 中 。./dev/null 是 一 个 特殊 的 设备 文件 ， 
它 会 丢弃 接收 到 的 任何 数据 。 null 设 备 通常 也 被 称 为 黑洞 , 因为 凡是 进入 其 中 的 数据 都 将 一 去 不 返 。 








1.6.4 ”补充 内 容 
从 stain 读 取 输 入 的 命令 能 以 多 种 方式 接收 数据 。 可 以 用 cat 和 管道 来 指定 我 们 自己 的 文件 
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描述 符 。 考 虑 下 面 的 例子 : 


$ cat file | cmd 
$ cmdl | cmd2 


1. 将 文件 重 定向 到 命令 

借助 小 于 号 (< )， 我们 可 以 像 使 用 stain 那 样 从 文件 中 读 取 数据 : 
$ cmd < file 

2. 重 定向 脚本 内 部 的 文本 块 


可 以 将 脚本 中 的 文本 重 定向 到 文件 。 要 想 将 一 条 警告 信息 添加 到 自动 生成 的 文件 项 部 , 可 以 
使 用 下 面 的 代码 : 








#!/bin/bash 
Cat<<EOF>log .txt 


This is a generated file. Do not edit. Changes will be overwritten. 

EOF 

出 现在 cat <<EOF>log.txt 与 下 一 个 EOF 行 之 间 的 所 有 文本 行 都 会 被 当 作 stain 数 据 。 
log.txt 文 件 的 内 容 显示 如 下 : 








$ cat log.txt 
This is a generated file. Do not edit. Changes will be overwritten. 


3. 自 定义 文件 描述 符 
文件 描述 符 是 一 种 用 于 访问 文件 的 抽象 指示 器 (abstract indicator )。 存 取 文 件 离 不 开 被 称 为 
“文件 描述 符 ” 的 特殊 数字 。0、1i1 和 2 分 别 是 stain、stqdout 和 stqerr 预 留 的 描述 符 编号 。 


exec 命 令 创 建 全 新 的 文件 描述 符 。 如 果 你 熟悉 其 他 编程 语言 中 的 文件 操作 ， 那 么 应 该 对 文 
件 打开 模式 也 不 陌生 。 篆 用 的 打开 模式 有 3 种 。 
口 只 读 模式 。 
口 追加 写 和 模式。 
口 截断 写 入 模式 。 
< 操作 符 可 以 将 文件 读 入 stain。> 操 作 符 用 于 截断 模式 的 文件 写 入 (数据 在 目标 文件 内 容 被 
截断 之 后 写 入 )。>> 操 作 符 用 于 追加 模式 的 文件 写 人 《数据 被 追加 到 文件 的 现 有 内 容 之 后 ， 而 且 
该 目标 文件 中 原 有 的 内 容 不 会 丢失 )。 文 件 描述 符 可 以 用 以 上 3 种 模式 中 的 任意 一 种 来 创建 。 
创建 一 个 用 于 读 取 文件 的 文件 描述 符 : 


$ exec 3<input .txt # 使 用 文件 描述 符 3 打开 并 读 取 文 件 
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我 们 可 以 这 样 使 用 它 : 





$ echo this is a test line > input.txt 
$ exec 3<input .txt 


现在 你 就 可 以 在 命令 中 使 用 文件 描述 符 3 了 。 例 如 : 


$ cat<&3 
this is a test line 


如 果 要 再 次 读 取 , 我 们 就 不 能 继续 使 用 文件 描述 符 3 了 ， 而 是 需要 用 exec 重 新 创建 一 个 新 的 
文件 描述 符 〈 可 以 是 4 ) 来 从 另 一 个 文件 中 读 取 或 是 重新 读 取 上 一 个 文件 。 


创建 一 个 用 于 写 和 信 〔 截断 模式 ) 的 文件 描述 符 : 
$ exec 4>output.txt #4 打开 文件 进行 写 入 


例如 : 

















$ exec 4>output .txt 
$ echo newline >&4 
$ cat output.txt 
newline 


创建 一 个 用 于 写 入 ( 追加 模式 ) 的 文件 描述 符 : 
$ exec 5>>input.txt 


例如 : 








$ exec 5>>1input .七 Xt 

$ echo appended line >&5 
$ cat input .七 Xt 

newline 

appended line 


1.7 数组 与 关联 数组 
数组 允许 脚本 利用 索引 将 数据 集合 保存 为 独立 的 条 目 。Bash 支 持 普通 数组 和 关联 数组 , 前 者 
使 用 整数 作为 数组 索引 ， 后 者 使 用 字符 串 作为 数组 索引 。 当 数据 以 数字 顺序 组 织 的 时 候 ， 应 该 使 


用 普通 数组 , 例如 一 组 连续 的 迭代 。 当 数据 以 字符 串 组 织 的 时 候 ， 关联 数组 就 派 上 用 场 了 ,例如 
主机 名 称 。 本 节 会 介绍 普通 数组 和 关联 数组 的 用 法 。 


















































1.7.1 预备 知识 
Bash 从 4.0 版 本 才 开始 支持 关联 数组 。 
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1.7.2 ”实战 演练 
定义 数组 的 方法 有 很 多 种 。 





(1) 可 以 在 单行 中 使 用 数值 列表 来 定义 一 个 数组 : 





array var=(testl1 test2 test3 test4) 
# 这 些 值 将 会 存储 在 以 0 为 起 始 索引 的 连续 位 置 上 


另外 ， 还 可 以 将 数组 定义 成 一 组 “索引 - 值 ”: 


arLray_Var[0]="test1" 
array_var[1]="test2" 
array_ var[2]="test3" 
array_var[3]="test4" 
array var[4]="test5" 
array_ var[5]="test6" 


(2) 打印 出 特定 索引 的 数组 元 素 内 容 : 


echo Ss$t{array var[0]} 
test1 

index=5 

echo s${array var[$index]} 
test6 


(3) 以 列表 形式 打印 出 数组 中 的 所 有 值 : 


$ echo s${array var[*]} 
testl1 test2 test3 test4 test5 test6 


也 可 以 这 样 使 用 : 


$ echo $s{array var[@]} 
testl1 test2 test3 test4 test5 test6 


(4) 打印 数组 长 度 〈 即 数组 中 元 素 的 个 数 ): 


$ echo s${#array var[*]}6 


1.7.3 ”补充 内 容 





关联 数组 从 Bash 4.0 版 本 开始 被 引入 。 当 使 用 字符 串 ( 站 点 名 、 用 户 名 、 非 顺序 数字 等 ) 作 


为 索引 时 ， 关 联 数组 要 比 数字 索引 数组 更 容易 使 
1. 定义 关联 数组 
在 关联 数组 

定义 为 关联 数组 : 




















日 。 


中 , 我 们 可 以 用 任意 的 文本 作为 数组 索引 。 首 先 ， 需 要 使 用 声明 语句 将 一 个 


变量 
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$ _ declare -A ass array 


声明 之 后 ， 可 以 用 下 列 两 种 方法 将 元 素 添加 到 关联 数组 中 。 
口 使 用 行内 “索引 - 值 ”列表 : 


$ ass array=([index1l]=vall [index2]=val2) 


口 使 用 独立 的 “索引 - 值 ”进行 赋值 : 





$ ass_ array[index1]=vall 
$ ass_ array'index2]=val2 


举 个 例子 ， 试 想 如 何 用 关联 数组 为 水 果 制定 价格 : 


$ declare -A fruits value 
$ fruits value=([apple]='100 dollars' [orange]='150 dollars') 


用 下 面 的 方法 显示 数组 内 容 : 


$ echo "Apple costs S${fruits value[apple]}" 
Apple costs 100 dollars 


2. 列 出 数组 索引 

每 一 个 数组 元 素 都 有 对 应 的 索引 。 普通 数组 和 关联 数组 的 索引 类 型 不 同 。 我 们 可 以 用 下 面 的 
方法 获取 数组 的 索引 列表 : 

$ echo s${!array var[*]} 


也 可 以 这 样 





$ echo $s{!array var[@]} 
以 先前 的 fruits_value 数 组 为 例 ， 运 行 如 下 命令 : 


$ echo $s{!fruits value[*]} 
orange apple 


对 于 普通 数组 ， 这 个 方法 同样 可 行 。 

















1.8 别名 


别名 就 是 一 种 便捷 方式 , 可 以 为 用 户 省 去 输入 一 长 串 命 令 序列 的 麻烦 。 下 面 我 们 会 看 到 如 何 
使 用 alias 命 令 创建 别名 。 











1.8.1 ”实战 演练 
你 可 以 执行 多 种 别名 操作 。 
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(1) 创建 别名 。 
$ alias new command='command sequence' 
下 面 的 命令 为 apt -get install 创 建 了 一 个 别名 : 
$ alias install='sudo apt-get install' 
定义 好 别名 之 后 ， 我 们 就 可 以 用 instal1 来 代替 suqo apt-get instal1 了 。 

(2) alias 命 令 的 效果 只 是 暂时 的 。 一 旦 关闭 当前 终端 ， 所 有 设置 过 的 别名 就 失效 了 。 为 了 
使 别名 在 所 有 的 shell 中 都 可 用 , 可 以 将 其 定义 放 入 ~/.bashrc 文 件 中 。 每 当 一 个 新 的 交互 式 
shell 进 程 生 成 时 ， 都 会 执行 ~/.bashrc 中 的 命令 。 























$ echo 'alias cmd="command seq"' >> ~/.bashrc 


(3) 如 果 需 要 删除 别名 ， 只 需 将 其 对 应 的 定义 ( 如 果 有 的 话 ) 从 ~/.bashrc 中 删除 ， 或 者 使 用 
unalias 命 令 。 也 可 以 使 用 alias example=， 这 会 取消 别名 example。 


(4) 我 们 可 以 创建 一 个 别名 rm， 它 能 够 删除 原始 文件 ， 同 时 在 backup 目 录 中 保留 副本 。 
alias rm='cp $@ ~/backup && rm $Q@' 


创建 别名 时 ， 如 果 已 经 有 同名 的 别名 存在 ， 那 么 原 有 的 别名 设置 将 被 新 的 
设置 取代 。 


1.8.2 ”补充 内 容 
如 果 身 份 为 特权 用 户 ， 别 名 也 会 造成 安全 问题 。 为 了 避免 对 系统 造成 危害 ,你 
转 义 。 

1. 对 别名 进行 转 义 

创建 一 个 和 原生 命令 同名 的 别名 很 容易 ,你 不 应 该 以 特权 用 户 的 身份 运行 别名 化 的 命令 。 我 
们 可 以 转 义 要 使 用 的 命令 ,忽略 当前 定义 的 别名 : 

$ \command 

字符 \ 可 以 转 义 命令 ， 从 而 执行 原本 的 命令 。 在 不 可 信 环 境 下 执行 特权 命令 时 ， 在 命令 前 加 
上 \ 来 忽略 可 能 存在 的 别名 总 是 一 种 良好 的 安全 实践 。 这 是 因为 攻击 者 可 能 已 经 将 一 些 别有用心 
的 命令 利用 别名 伪装 成 了 特权 命令 ， 借 此 来 盗 取 用 户 输入 的 重要 信息 。 

2. 列举 别名 

alias 命 令 可 以 列 出 当前 定义 的 所 有 别名 : 








和 
I 
革 
DN 
E> 
人 > 
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$ aliasalias 1Lc='1Ss -color=auto' 
alias 1L1='1Ss -1' 
alias Vi='vim' 





1.9 采集 终端 信息 


编 
盖 的 

















汪 寺 


了 shell 和 脚本 时 ， 总 是 免不了 处 理 当 前 终端 的 相关 信息 ， 比 如 行 数 、 列 数 、 光 标 位 置 、 


写 命令 和 
4 密码 字段 等 。 这 则 攻略 将 帮助 你 学 习 如 何 采集 并 处 理 终端 设置。 














bd : 
lL» Ti 





1.9.1 预备 知识 


tput 和 stty 是 两 款 终端 处理 工具。 


1.9.2 ”实战 演练 
下 面 是 一 些 tput 命 令 的 功能 演示 。 


口 获取 终端 的 行 数 和 列 数 : 


tput cols 
tput lines 


口 打印 出 当前 的 终端 名 : 

















tput longname 
口 将 光标 移动 到 坐标 (100,100) 处 : 
tput cup 100 100 
口 设置 终端 背景 色 : 
tput setb n 
其 中 ，n 可 以 在 0 到 7 之 间 取 值 。 
口 设置 终端 前 景 
tput setf n 


其 中 ，n 可 以 在 0 到 7 之 间 取 值 。 


0 包括 常用 的 color ls 在 内 的 一 些 命令 可 能 会 重 置 前 景色 和 背景 色 。 


24 第 1 章 小 试 牛刀 





口 设置 文本 样式 为 粗 体 : 
tput bold 


口 设置 下 划 线 的 起 止 : 








tput smul 
tput rmul 


口 删除 从 当前 光标 位 置 到 行 尾 的 所 有 内 容 : 


tput ed 





口 输入 密码 时 ， 脚 本 不 应 该 显示 输入 内 容 。 在 下 面 的 例子 中 ， 我 们 将 看 到 如 何 使 用 stty 来 





实现 这 一 需求 : 


#!/bin/sh 

#Filename: password.sh 
echo -e "Enter password: " 
# 在 读 取 密码 前 禁止 回 显 

stty -echo 

read password 

# 重新 允许 回 显 

stty echo 

echo 

echo Password read. 


促 stty 命 令 的 选项 -echo 禁 止 将 输出 发 送 到 终端 ， 而 选项 echo 则 允许 发 送 输 出 。 


1.10 ”获取 并 设置 日 期 及 延 时 











延 时 可 以 用 来 在 程序 执行 过 程 中 等 待 一 段 时 间 ( 比如 1 秒 ), 或 是 每 隔 几 秒 钟 (或 是 几 个 月 ) 
监督 某 项 任务 。 与 时 间 和 日 期 打交道 需要 理解 如 何 描 述 并 处 理 这 两 者 。 这 则 攻略 会 告诉 你 怎样 使 











用 日 期 以 及 延 时 。 


1.10.1 ”预备 知识 


日 期 能 够 以 多 种 格式 呈现 。 在 系统 内 部 ， 日 期 被 存储 成 一 个 整数 ， 其 取 值 为 自 1970 年 1 
日 0 时 0 分 0 秒 起 所 流逝 的 秒 数 。 这 种 计时 方式 称 为 纪元 时 或 Unix 时 间 。 


可 以 在 命令 行 中 设置 系统 日 期 。 下 面 来 看 看 对 其 进行 读 取 和 设置 的 方法 。 























@ Unix 认 为 UTC 1970 年 1 月 1 日 0 点 是 纪元 时 间 。POSIX 标 准 推出 后 ， 这 个 时 间 也 被 称 为 POSIX 时 间 。 














月 1 
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1.10.2 “实战 演练 fa 


可 以 以 不 同 的 格式 来 读 取 、 设 置 日 期 。 
(1) 读 取 日 期 : 


$ date 
Thu May 20 23:09:04 IST 2010 


(2) 打印 纪元 时 : 








$ date +%s 
1290047248 


data 命 令 可 以 将 很 多 不 同 格式 的 日 期 转换 成 纪元 时 。 这 就 允许 你 使 用 多 种 日 期 格式 作为 
输入 。 如 果 要 从 系统 日 志 中 或 者 其 他 标准 应 用 程序 生成 的 输出 中 获取 日 期 信息 ， 就 完全 
不 用 烦心 日 期 的 格式 问题 。 


将 日 期 转换 成 纪元 时 : 


$ date --date "Wed mar 15 08:09:16 EDT 2017" +%s 
1489579718 


选项 --aate 指 定 了 作为 输入 的 日 期 。 我 们 可 以 使 用 任意 的 日 期 格式 化 选项 来 打印 输出 。 
data 命 令 可 以 根据 指定 的 日 期 找 出 这 一 天 是 星期 儿 : 


$ date --date "Jan 20 2001" +%A 
Saturday 


1.10.3 节 中 的 表 1-1 是 一 份 日 期 格式 字符 串 列表 。 


(3) 用 带 有 前 级 + 的 格式 化 字符 串 作 为 aate 命 令 的 参数 ， 可 以 按照 你 的 选择 打印 出 相应 格式 
的 日 期 。 例 如 : 


$ date "+%d %B %Y" 
20 May 2010 














(4) 设置 日 期 和 时 间 : 
# date -s "格式 化 的 日 期 字符 串 " 
例如 : 


# date -s "21 June 2009 11:01:22" 
oP 如 果 系 统 已 经 联网 ， 可 以 使 用 ntpdate 来 设置 日 期 和 时 间 : 
/usr/sbin/ntpdate -s time-b.nist.gov 


(5) 要 优化 代码 ， 首 先 得 先进 行 测量 。date 命 令 可 以 用 于 计算 一 组 命令 所 花费 的 执行 时 间 : 
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外 


1.10. 


#!/bin/bash 


# 文 件 名 : time _ take.sh 
start=$ (date +%s) 


commands; 
statements; 


end=$ (date +%s) 
difference=$(( end - start)) 
echo Time taken to execute commands is $difference seconds. 


3 工作 原理 


time commandOrScriptName. 


qate 命 令 的 最 小 精度 是 秒 。 对 命令 计时 的 另 一 种 更 好 的 方式 是 使 用 Fime 命 令 : 


Unix 纪 元 时 被 定义 为 从 世界 标准 时 间 (Coordinated Universal Time，UTC ) ”1970 年 1 月 1 日 0 


时 0 分 0 秒 起 至 当前 时 刻 的 总 秒 数 ， 不 包括 闽 秒 ”。 当 计算 两 个 日 期 或 两 段 时 间 的 差 值 时 ， 需 要 用 
出 两 者 之 间 的 差 值 。 下 面 的 命令 计算 了 两 个 日 期 之 间 














到 纪元 时 。 将 两 个 日 期 转换 成 纪元 时 并 计算 
相隔 了 多 少 秒 : 


Secs1= date -qd "Jan 2 1970" 
secs2= date -qd "Jan 3 1970" 


所 


cho "There are ‘expr S$secs2 - Ssecs1 


seconds between Jan 2 and Jan 3" 


There are 86400 seconds between Jan 2 and Jan 3 


对 月 





日 户 而 言 , 以 秒 为 








位 显示 从 1970 年 1 


date 命 令 支 持 以 用 户 易 读 的 格式 输出 日 期 。 
表 1-1 列 出 了 date 命 令 所 支持 的 格式 选项 。 





月 1 日 午夜 截止 到 当前 的 秒 数 , 实在 是 不 太 容易 读 恒 

















IN 


O 









































表 1-1 
日 期 内 容 格 式 

工作 日 (weekday) %a (例如 : Sat) 

%A (例如 : Saturday) 
月 %b (例如 :; Nov) 

%B (例如 : November) 
日 %d (例如 ; 31) 
特定 格式 日 期 (mm/dd/yy) %D (例如 : 10/18/10) 
年 %y (例如 : 10) 

%Y (例如 : 2010) 

QD UTC ( Coordinated Universal Time )， 又 称 世 界 标准 时 间或 世界 协调 时 间 。UTC 是 以 原子 时 秒 长 为 基础 ， 在 时 刻 上 


©® 








闻 秒 是 指 为 保持 协调 1 





尽量 接近 于 世界 时 的 一 种 时 间 计 量 系 统 。 








世界 时 接近 





界 时 增加 或 减少 1 秒 的 调整 。 


世界 时 时 刻 ， 

















国际 计量 














局 统一 规定 在 年 底 或 年 中 (也 可 能 是 季 末 ) 对 协调 世 
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( 续 ) 
日 期 内 容 格 式 
小 时 %I 或 %H (例如 : 08) 
分 钟 %M (例如 : 33) 
秒 %S (例如 : 10) 
纳 秒 %N (例如 : 695208515) 
Unix 纪 元 时 (以 秒 为 单位 ) %s (例如 : 1290049486) 


1.10.4 ”补充 内 容 
编写 以 循环 方式 运行 的 监控 脚本 时 ,设置 时 间 间 隔 是 必 不 可 少 的 。 让 我 们 来 看 看 如 何 生成 延 时 。 
在 脚本 中 生成 延 时 


sleep 命 令 可 以 延迟 脚本 执行 一 段 时 间 (以 秒 为 单位 )。 下 面 的 脚本 使 用 cput 和 sleep 从 0 开 
台 计 时 到 40 秒 ; 


!/bin/bash 
文件 名 : sleep.sh 
echo Count: 

tput sc 























循环 40 秒 
for count in ‘seq 0 40、 
do 
tout.te 
tput ed 
echo -n $count 
sleep 1 
done 


在 上 面 的 例子 中 ， 变 量 依次 使 用 了 由 sea 命 令 生成 的 一 系列 数字 。 我 们 用 tput sc 存储 光标 
位 置 。 在 每 次 循环 中 ， 通 过 tput rc 恢复 之 前 存储 的 光标 位 置 ， 在 终端 中 打印 出 新 的 count 值 ， 
然后 使 用 tputs ed 清除 从 当前 光标 位 置 到 行 尾 之 间 的 所 有 内 容 。 行 被 清空 之 后 ， 脚 本 就 可 以 显 
示 出 新 的 值 。sleep 可 以 使 脚本 在 每 次 循环 迭代 之 间 延 迟 1 秒 钟 。 





























1.11 调试 脚本 


调试 脚本 所 花费 的 时 间 常 常 比 编写 代码 还 要 多 。 所 有 编程 语言 都 应 该 实现 的 一 个 特性 就 是 
在 出 现 始 料 未 及 的 情况 时 ， 能 够 生成 跟踪 信息 。 调 试 信息 可 以 帮 你 弄 清楚 是 什么 原因 使 得 程序 
行为 异常 。 每 位 系统 程序 员 都 应 该 了 解 Bash 提 供 的 调试 选项 。 这 则 攻略 为 你 展示 了 这 些 选项 的 
用 法 。 
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1.11.1 ”实战 演练 
我 们 可 以 利用 Bash 内 建 的 调试 工具 或 者 按照 易于 调试 的 方式 编写 脚本 ， 方 法 如 下 所 示 。 
(1) 使 用 选项 -x， 启 用 shell 脚 本 的 跟踪 调试 功能 : 


$ bash -x script.sh 


运行 带 有 -x 选项 的 脚本 可 以 打印 出 所 执行 的 每 一 行 命令 以 及 当前 状态 。 


负 你 也 可 以 使 用 sh -x script。 


(2) 使 用 set -x 和 set +x 对 脚本 进行 部 分 调试 。 例 如 : 


#!/bin/bash 
# 文 件 名 : debug.sh 
FO 
do 
set -x 
echo Si 
set +x 
done 
echo "Script executed" 


在 上 面 的 脚本 中 ， 只 会 打印 出 echo $i 的 调试 信息 ， 因 为 使 用 -x 和 +x 对 调试 区 域 进行 
了 限制 。 


该 脚本 并 没有 使 用 上 例 中 的 seG 命 令 ， 而 是 用 {start . .end} 来 渴 代 从 start 到 end 之 间 
的 值 。 这 个 语言 构件 (construct ) 在 执行 速度 上 要 比 seq 命 令 略 快 。 

(3) 前 面 介绍 的 调试 方法 是 Bash 内 建 的 。 它 们 以 固定 的 格式 生成 调试 信息 。 但 是 在 很 多 情况 
下 , 我 们 需要 使 用 自 定义 的 调试 信息 。 可 以 通过 定义 _DEBUG 环 境 变量 来 启用 或 禁止 调试 
及 生成 特定 形式 的 信息 。 
请 看 下 面 的 代码 : 


#!/bin/bash 
function DEBUG () 
{ 





























[ES DEBUGY .== von 1 8 | 
} 
i ho os he Wi te Ne 
do 
DEBUG echo "I is Si" 
done 


可 以 将 调试 功能 设置 为 on 来 运行 上 面 的 脚本 : 
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$ _DEBUG=on ./script.sh | 


我 们 在 每 一 条 需要 打印 调试 信息 的 语句 前 加 上 DEBUG。 如 果 没 有 把 _DEBUG=on 传 递 给 脚 
本 ， 那 么 调试 信息 就 不 会 打印 出 来 。 在 Bash 中 ， 命令: 告诉 shell 不 要 进行 任何 操作 。 














1.11.2 ”工作 原理 


-x 选项 会 输出 脚本 中 执行 过 的 每 一 行 。 不 过 , 我 们 可 能 只 关注 其 中 某 一 部 分 代码 。 针 对 这 种 
情况 ， 可 以 在 脚本 中 使 用 set builtin 来 启用 或 禁止 调试 打印 。 


口 set -x: 在 执行 时 显示 参数 和 命令 。 
口 set +x: 禁止 调试 。 
口 set -v: 当 命 令 进行 读 取 时 显示 输入 。 
口 set +v: 禁止 打印 输入 。 











1.11.3 ”补充 内 容 
还 有 其 他 脚本 调试 的 便捷 方法 ,我们 甚至 可 以 巧妙 地 利用 shebang 来 进行 调试 。 
shebang 的 妙用 
把 shebang 从 #1!/bin/bash 改 成 #1!1/bin/bash -xv， 这 样 一 来 ， 不 用 任何 其 他 选项 就 可 以 
启用 调试 功能 了 。 
如 果 每 一 行 前 面 都 加 上 + ， 那 么 就 很 难 在 默认 输出 中 跟踪 执行 流程 了 。 可 以 将 环境 变量 PS4 
设置 为 'SLINENO:' ， 显 示 出 每 行 的 行 号 : 























PS4='$LINENO: ' 

调试 的 输出 信息 可 能 会 很 长 。 如 果 使 用 了 -x 或 set -x， 调 试 输出 会 被 发 送 到 stdqerr。 可 以 
使 用 下 面 的 命令 将 其 重 定 向 到 文件 中 : 

sh -x testScript.sh 2> debugout .txt 


Bash 4.0 以 及 后 续 版 本 支持 对 调试 输出 使 用 自 定义 文件 描述 符 : 








exec 6> /tmp/debugout .txt 
BASH XTRACEFD=6 


1.12 ”上 国 数 和 人 参数 


函数 和 别名 乍 一 看 很 相似 , 不 过 两 者 在 行为 上 还 是 略 有 不 同 。 最 大 的 差异 在 于 函数 参数 可 以 
在 函数 体 中 任意 位 置 上 使 用 ， 而 别名 只 能 将 参数 放 在 命令 尾部 。 
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1.12.1 ”实战 演练 
函数 的 定义 包括 fanction 命 令 、 函 数 名 、 开 / 闭 括 号 以 及 包含 在 一 对 花 括 号 中 的 函数 体 。 
(1) 函数 可 以 这 样 定义 : 





function fname() 
statements; 


} 
或 者 


fname () 
{ 


statementss 


} 
甚至 是 这 样 ( 对 于 简单 的 函数 ): 





fname() { statement; } 

(2) 只 需 使 用 函数 名 就 可 以 调用 函数 : 
$ fname ; # 执 行 函数 

(3) 函数 参数 可 以 按 位 置 访问 ，$1 是 第 一 个 参数 ，s$2 是 第 二 个 参数 ， 以 此 类 推 : 
fname argl arg2 ; # 传 递 参数 


以 下 是 函数 fname 的 定义 。 在 函数 fname 中 ,包含 了 各 种 访问 函数 参数 的 方法 。 



































fname () 
{ 
echo $1, $2; # 访 问 参 数 1 和 参数 2 
echo "s$@"; # 以 列表 的 方式 一 次 性 打印 所 有 参数 
echo "Sx*",; # 类 似 于 $8@， 但 是 所 有 参数 被 视 为 单个 实体 
return 0; # 返 回 值 


} 
传人 脚本 的 参数 可 以 通过 下 列 形 式 访问 。 


口 $0 是 脚本 名 称 。 

口 $1 是 第 一 个 参数 。 

口 $2 是 第 二 个 参数 。 

口 $n 是 第 n 个 参数 。 

口 "se@" 被 扩展 成 "$l" "$2" "$3" 等 。 
口 "$* "被 扩展 成 "$1c$2c$3"， 其 中 c 是 IFS 的 第 一 个 字符 。 

口 "s@" 要 比 "$*" 用 得 多 。 由 于 "$* "将 所 有 的 参数 当 作 单个 字符 串 , 因此 它 很 少 被 使 用 。 
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比较 别名 与 函数 


口 下 面 的 这 个 别名 通过 将 1s 的 输出 传人 grep 来 显示 文件 子 集 。 别 名 的 参数 添加 到 命令 的 尾 
部 ， 因 此 1sg txt 就 被 扩展 成 了 ls | grep txt: 











$> alias lsg='ls | grep' 
$> lsg txt 

filel.txt 

file2.txt 

file3.txt 


口 如 果 想 获得 /sbin/ifconfig 文 件 中 设备 对 应 的 人 P 地 址 ， 可 以 尝试 这 样 做 : 


$> alias wontWork='/sbin/ifconfig | grep' 
$> wontWork eth0 
eth0 Link encap:Ethernet HWaddr 00:11::22::33::44:55 


口 grep 命 令 找 到 的 是 字符 串 etcn0， 而 不 是 IP 地 址 。 如 果 我 们 使 用 函数 来 实现 的 话 ， 可 以 将 
设备 名 作为 参数 传人 ifconfig， 不 再 交 给 grep: 
$> function getIP() { /sbin/ifconfig $1 | grep 'inet '; } 


$> getIP eth0 
inet addr:192.168.1.2 Bcast:192.168.255.255 Mask:255.255.0.0 





1.12.2 ”补充 内 容 
让 我 们 再 研究 一 些 Bash 函 数 的 技巧 。 
1. 递归 函数 
在 Bash 中 , 函数 同样 支持 递归 调用 ( 可 以 调用 自身 的 函数 ) 例如 ,F() { echo $1; F hello; 
sleep 1; }。o 
Fork 炸 弹 


递归 函数 是 能 够 调用 自身 的 函数 。 这 种 函数 必须 有 退出 条 件 , 否则 就 会 不 断 地 
生成 自身 ， 直 到 系统 耗 尽 所 有 的 资源 或 是 前 溃 。 


SR he es 


PP 这 个 函数 会 一 直 地 生成 新 的 进程 ， 最 终 形成 拒绝 服务 攻击 。 
函数 调用 前 的 & 将 子 进程 放 入 后 台 。 这 段 危 险 的 代码 能 够 不 停 地 衍生 出 进程 ， 
因而 被 称 为 Fork 炸 弹 。 


上 面 这 段 代码 要 理解 起 来 可 不 容易 。 请 参阅 维基 百科 http://en.wikipedia.org/ 
WwWiki/Fork _ bomb， 那 里 给 出 了 有 关 Fork 炸 弹 的 更 多 细节 以 及 解释 。 
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可 以 通过 修改 配置 文件 /etc/securitylimits.conf 中 的 nproc 来 限制 可 生成 的 最 
大 进程 数 ， 进 而 阻止 这 种 攻击 。 


下 面 的 语句 将 所 有 用 户 可 生成 的 进程 数 限制 为 100: 


hard nproc 100 








函数 也 能 像 环 境 变量 一 样 用 export 导 出 ,如 此 一 来 ， 函数 的 作用 域 就 可 以 扩展 到 子 进程 中 : 


export -f fname 
$> function getIP() { /sbin/ifconfig $1 | grep 'inet '; } 
$> echo "getIP eth0" >test.sh 
$> sh test.sh 
sh: getIP: No such file or directory 
$> export -f getIP 
$> sh test.sh 
inet addr: 192.168.1.2 Bcast: 192.168.255.255 Mask:255.255.0.0 


3. 读 取 命 令 返 回 值 “状态 ) 
命令 的 返回 值 被 保存 在 变量 $? 中 。 





返回 值 被 称 为 退出 状态 。 它 可 用 于 确定 命令 执行 成 功 与 否 。 如 果 命 令 成 功 退 出 , 那么 退出 状 
态 为 0， 否 则 为 非 0。 


下 面 的 脚本 可 以 报告 命令 是 否 成 功 结束 : 


#!/bin/bash 
# 文 件 名 : success_test .sh 
# 对 命令 行 参数 求 值 ， 比如 success_test.sh ‘ls | grep txt’ 





eval 8$Q 
if [ $? -eq 0 1]; 
then 
echo "$CMD executed successfully" 
else 


echo "$CMD terminated unsuccessfully" 
£1i 


4. 向 命令 传递 参数 


大 多 数 应 用 都 能 够 接受 不 同 格式 的 参数 。 假 设 -p、-v 是 可 用 选项 ，-k N 是 男 一 个 可 以 接受 
数字 的 选项 ， 同 时 该 命令 还 要 求 使 用 一 个 文件 名 作为 参数 。 那 么 ， 它 有 如 下 几 种 执行 方式 : 























Ds command -p -v -k 1 file 





Ds command -pv -k 1 file 
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Ds command -vpk 1 file 





Ds$ command file -pvk 1 
在 脚本 中 , 命令 行 参数 可 以 依据 其 在 命令 行 中 的 位 置 来 访问 。 第 一 个 参数 是 $1, 第 二 个 参数 
是 $2， 以 此 类 推 。 
下 面 的 语句 可 以 显示 出 前 3 个 命令 行 参数 : 
echo $1 $2 $3 


更 为 常见 的 处 理 方式 是 迭代 所 有 的 命令 行 参数 。shift 命 令 可 以 将 参数 依次 向 左 移 动 一 个 位 
置 ， 让 脚本 能 够 使 用 $1 来 访问 到 每 一 个 参数 。 下 面 的 代码 显示 出 了 所 有 的 命令 行 参数 : 









































$ cat showArgs.sh 

for i in ‘seq 1 $#. 

do 

echo $i is $1 

shift 

done 

$ sh showArgs.sh a b c 
1 isa 
2 isb 
3 isc 


1.13 ”将 一 个 命令 的 输出 发 送 给 另 一 个 命令 

Unix shell 脚 本 最 棒 的 特性 之 一 就 是 可 以 轻松 地 将 多 个 命令 组 合 起 来 生成 输出 ,一 个 命令 的 输 
出 可 以 作为 男 一 个 命令 的 输入 ， 而 这 个 命令 的 输出 又 会 传递 至 下 一 个 命令 ,以 此 类 推 。 这 种 命令 
组 合 的 输出 可 以 被 存储 在 变量 中 。 这 则 攻略 将 演示 如 何 组 合 多 个 命令 并 读 取 其 输出 。 








1.13.1 ”预备 知识 

命令 输入 通常 来 自 于 stain 或 参数 。 输 出 可 以 发 送 给 stdout 或 stderr。 当 我 们 组 合 多 个 命 
令 时 ， 通常 将 stgin 用 于 输入 ，stdout 用 于 输出 。 

在 这 种 情况 下 ， 这些 命令 被 称 为 过 滤器 ( filter )。 我 们 使 用 管道 (pipe ) 连接 每 个 过 滤器 ， 管 
道 操作 符 是 1。 例如 : 

$ cmd1l | cmd2 | cmd3 


这 里 我 们 组 合 了 3 个 命令 。cmal 的 输出 传递 给 cma2 ，cma2 的 输出 传递 给 cma3 ， 最 终 的 输出 
《来 自 cma3 ) 会 出 现在 显示 需 中 或 被 导入 某 个 文件 。 
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1.13.2 ”实战 演练 
我 们 通常 使 用 管道 并 配合 子 shell 的 方式 来 组 合 多 个 命令 的 输出 。 
(1) 先 从 组 合 两 个 命令 开始 : 























$ 1s | cat -n > out.txt 


ls( 列 出 当前 目录 内 容 ) 的 输出 被 传 给 cat -n， 后 者 为 通过 stdin 所 接收 到 的 输入 内 容 
加 上 行 号 ， 然 后 将 输出 重 定向 到 文件 outtxt。 


(2) 将 命令 序列 的 输出 赋 给 变量 : 
cmd_ output=$ (COMMANDS) 


这 种 方法 叫 作 子 she11 法 。 例 如 : 























cmd_ output=$(ls | cat -n) 
echo $cmd output 


另 一 种 方法 叫 作 反 引 用 (有些 人 也 称 它 为 反 标 记 )， 也 可 以 用 于 存储 命令 输出 : 
cmd_ output=` COMMANDS. 


例如 : 


cmd_output= 1s | cat -nl 
echo $cmd output 


反 引 用 与 单 引号 可 不 是 一 回 事 ， 该 字符 位 于 键盘 的 ~ 键 上 。 




















1.13.3 ”补充 内 容 
命令 分 组 的 方法 不 止 一 种 。 
1. 利用 子 shell 生 成 一 个 独立 的 进程 
子 shell 本 身 就 是 独立 的 进程 。 可 以 使 用 () 操 作 符 来 定义 一 个 子 shell。 


D pwa 命 令 可 以 打印 出 工作 目录 的 路 径 。 
D ca 命令 可 以 将 当前 目录 修改 成 指定 的 目录 。 


$> pwd 

/ 

$> (cd /bin; 1s) 
awk bash cat... 
$> pwd 

A 
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当 命令 在 子 shell 中 执行 时 ， 不 会 对 当前 shell 造 成 任何 影响 ;所 有 的 改变 仅 限 于 该 子 shell 内 。 
例如 ， 当 用 cq 命令 改变 子 shell 的 当前 目录 时 ， 这 种 变化 不 会 反映 到 主 shell 环 境 中 。 


2. 通过 引用 子 shell 的 方式 保留 空格 和 换行 符 


假设 我 们 使 用 子 shell 或 反 引 用 的 方法 将 命令 的 输出 保存 到 变量 中 , 为 了 保留 输出 的 空格 和 换 
行 符 (\n )， 必 须 使 用 双 引 号 。 例 如 : 











$ cat text.txt 
1 
浊 
3 


Am 


out=$(cat 七 ext .七 xt ) 
echo $out 


2 3 # 丢失 了 1、2、3 中 的 \n 


上 


out="$ (cat text.txt)" 
echo S$out 


Nb hh nn 


1.14 ”在 不 按 下 回 车 键 的 情况 下 读 入 n 个 字符 


Bash 命 令 read 能 够 从 键盘 或 标准 输入 中 读 取 文本 。 我 们 可 以 使 用 read 以 交互 的 形式 读 取 用 
户 输入 ， 不 过 reagd 能 做 的 可 远 不 止 这 些 。 编 程 语言 的 大 多 数 输 入 库 都 是 从 键盘 读 取 输 入 ， 当 回 
车 键 按 下 的 时 候 , 标志 着 输入 完毕 。 但 有 时 候 是 没 法 按 回 车 键 的 ,输入 结束 与 否 是 由 读 取 到 的 字 
符 数 或 某 个 特定 字符 来 决定 的 。 例 如 在 交互 式 游戏 中 ， 当 按 下 + 键 时 ， 小 球 就 会 向 上 移动 。 那 么 
若 每 次 都 要 按 下 + 键 ， 然 后 再 按 回 车 键 来 确认 已 经 按 过 + 键 ， 这 就 显然 太 低 效 了 。 


read 命 令 提 供 了 一 种 不 需要 按 回 车 键 就 能 够 搞定 这 个 任务 的 方法 。 
























































实战 演练 
你 可 以 借助 read 命 令 的 各 种 选项 来 实现 不 同 的 效果 ， 如 下 所 示 。 
(1) 下 面 的 语句 从 输入 中 读 取 n 个 字符 并 存 人 变量 variable_name: 
read -n number of chars variable name 
例如 : 


$ read -n 2 var 
$ echo $var 
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(2) 用 无 回 显 的 方式 读 取 密 码 : 





read -s var 
(3) 使 用 read 显 示 提 示 信 息 : 

read -p "Enter input:" var 
(4) 在 给 定时 限 内 读 取 输 入 : 

read -t timeout var 


例如 : 


$ read -t 2 var 


# 在 2 秒 内 将 键入 的 字符 囊 读 入 变量 Var 
(5) 用 特定 的 定 界 符 作 为 输入 行 的 结束 : 


read -d delim char var 





例如 : 
$ read -d ":" var 
hello: #var 被 设置 为 hello 


1.15 ”持续 运行 命令 直至 执行 成 功 


有 时 候 命令 只 有 在 满足 某 些 条 件 时 才能 够 成 功 执行 。 例 如 , 在 下 载 文件 之 前 必须 先 创建 该 文 
件 。 这 种 情况 下 ， 你 可 能 希望 重复 执行 命令 ， 直 到 成 功 为 止 。 





1.15.1 ”实战 演练 
定义 如 下 函数 : 


repeat () 
{ 
while true 
do 
$S@ && return 
done 

















或 者 把 它 放 人 shell 的 rc 文件 ， 更 便于 使 用 : 





repeat () { while true; do S$Q@ && return; done } 
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1.15.2 ”工作 原理 
函数 repeat () 中 包含 了 一 个 无 限 whi le 循环 ， 该 循环 执行 以 函数 参数 形式 ( 通过 $e 访问 ) 
传 入 的 命令 。 如 果 命令 执行 成 功 ， 则 返回 ， 进 而 退出 循环 。 
1.15.3 ”补充 内 容 
我 们 已 经 知道 了 用 于 重复 执行 命令 ,直到 其 执行 成 功 的 基本 做 法 。 接 着 来 看 看 更 高 效 的 方式 。 
1. 一 种 更 快 的 做 法 


在 大 多 数 现代 系统 中 ，true 是 作为 /bn 中 的 一 个 二 进 制 文件 来 实现 的 。 这 就 意味 着 每 执行 一 
次 之 前 提 到 的 while 循 环 ，shell 就 不 得 不 生成 一 个 进程 。 为 了 避免 这 种 情况 ， 可 以 使 用 shell 的 内 
建 命令 :， 该 命令 的 退出 状态 总 是 为 0: 

















repeat() { while :; do S$S@ && return; done } 
尽管 可 读 性 不 高 ， 但 是 肯定 比 第 一 种 方法 快 。 
2. 加 入 延 时 








假设 你 要 用 repeat () 从 Internet 上 下 载 一 个 暂时 不 可 用 的 文件 ， 不 过 这 个 文件 只 需要 等 一 会 
就 能 下 载 。 一 种 方法 如 下 : 

repeat wget -c http://www.example.com/software-0.1.tar.gz 

如 果 采 用 这 种 形式 , 会 产生 很 多 发 往 www.example.com 的 流量 , 有 可 能 会 对 服务 器 造成 影响 。 
(可 能 也 会 牵连 到 你 自己 ; 如 果 服 务 器 认为 你 是 在 向 其 发 起 攻击 , 就 会 把 你 的 IP 地 址 列 和 人 黑 名 单 。) 
要 解决 这 个 问题 ， 我 们 可 以 修改 函数 ， 加 入 一 段 延 时 : 




















repeat() { while :; do S$@ && return; sleep 30; done } 


这 样 命令 每 30 秒 才 会 运行 一 次 。 


1.16 ”字段 分 隔 符 与 迭代 器 

内 部 字段 分 隔 符 ( Internal Field Separator，IFS ) 是 shell 脚 本 编程 中 的 一 个 重要 概念 。 在 处 理 
文本 数据 时 ， 它 的 作用 可 不 小 。 

作为 分 隔 符 ，IFS 有 其 特殊 用 途 。 它 是 一 个 环境 变量 ， 其 中 保存 了 用 于 分 隔 的 字符 。 它 是 当 
前 shell 环 境 使 用 的 默认 定 界 字符 串 。 

考虑 一 种 情形 : 我 们 需要 人 迭代 一 个 字符 串 或 逗号 分 隔 型 数值 ( Comma Separated Value，CSYV ) 
中 的 单词 。 如 果 是 前 者 ， 可 以 使 用 IFs=" "; 如 果 是 后 者 ， 则 使 用 IFS=","。 
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1.16.1 ”预备 知识 
考虑 CSV 数 据 的 情况 : 


data="name, gender,rollno,1location" 


我 们 可 以 使 用 IFS 读 取 变 量 中 的 每 一 个 条 目 。 


OldIFS=S$IFS 


IFS=, #IFS 现 在 被 设置 为 ， 


for item in S$data; 
do 

echo Item: S$item 
done 


IFS=$o1dIFS 
输出 如 下 : 


Item: name 
Item: gender 
Item: rollno 
Item: location 


IFS 的 默认 值 为 空白 字符 ( 换行 符 、 制 表 符 或 者 空格 )。 


当 IFS 被 设置 为 辟 号 时 ，shell 将 逗号 视 为 一 个 定 界 符 ， 因 此 变量 $item 在 每 次 迭代 中 读 取 由 





逗号 分 隔 的 子 串 作为 变量 值 。 


如 果 没 有 把 IFS 设 置 成 逗号 ， 





1.16.2 ”实战 演练 


让 我 们 以 /etc/passwd 为 例 ， 看 看 IFS 的 男 一 种 用 法 。 在 文件 /etc/passwd 中 ， 每 一 行 包含 了 由 




















那么 上 面 的 脚本 会 将 全 部 数据 作为 单个 字符 串 打 印 出 来 。 


匣 























号 分 隔 的 多 个 条 目 。 该 文件 中 的 每 行 都 对 应 着 某 个 用 户 的 相关 属性 。 


考虑 这 样 的 输入 : root:x:0:0:root:/root:/bin/bash。 每 行 的 最 后 一 项 指定 了 月 





默认 shell o 











可 以 按照 下 面 的 方法 巧妙 地 利用 IFS 打 印 出 用 户 以 及 他 们 默认 的 shell; 


#!/bin/bash 
# 用 途 : 演示 IFS 的 用 法 


line="root:x:0:0:root:/root:/bin/bash" 


OldIFS=$IFS:; 
水 

count=0 

for item in S$line; 
do 


日 户 的 
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[ Scount -eq 0 ] && user=$item; 
[ Scount -eq 6 ] && shell=$item; 
Jet count++ 


done; 
IFS=$oldIFS 
echo Suser's shell is S$shell; 


输出 为 : 
root's shell is /bin/bash 
循环 在 对 一 系列 值 进行 迭代 时 非常 有 用 。Bash 提 供 了 多 种 类 型 的 循环 。 
口 面向 列表 的 for 循 环 
for var in list; 
do 


commands; # 使 用 变量 Svar 
done 


list 可 以 是 一 个 字符 串 ， 也 可 以 是 一 个 值 序列 。 
我 们 可 以 使 用 echo 命 令 生 成 各 种 值 序列 : 


echo {1..50}; # 生 成 一 个 从 1~50 的 数字 序列 
echo {a..2} {A..2}; # 生 成 大 小 写字 母 序列 


同样 ， 我 们 可 以 将 这 些 方法 结合 起 来 对 数据 进行 拼接 ( concatenate )。 








下 面 的 代码 中 ， 变 量 i 在 每 次 迭代 的 过 程 里 都 会 保存 一 个 范围 在 a 到 z 之 间 的 字符 : 


for i in {a..2z2}; do actions; done; 
口 迭代 指定 范围 的 数字 

for((i=0;i<10;i++)) 

{ 


commands; # 使 用 变量 $i 
} 


口 循环 到 条 件 满足 为 止 
当 条 件 为 真 时 ，whi1le 循 环 继续 执行 ， 当 条 件 不 为 真 时 ，unti1 循 环 继续 执行 。 





while condition 
do 

commands; 
done 


用 true 作 为 循环 条 件 能 够 产生 无 限 循 环 。 
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口 unti1 循 环 


在 Bash 中 还 可 以 使 用 一 个 特殊 的 循环 until。 它 会 一 直 循 环 , 直到 给 定 的 条 件 为 真 ,例如 : 














until [ Sx -eq 9 ];  # 末 件 是 [sx -eq 9 ] 


let x++; echo Sx; 
done 


1.17 ”比较 与 测试 

程序 中 的 流程 控制 是 由 比较 语句 和 测试 语句 处 理 的 .Bash 能 够 执行 各 种 测试 。 我 们 可 以 用 if、 
if else 以 及 逻辑 运算 符 来 测试 ， 用 比较 运算 符 来 比较 数据 项 。 除 此 之 外 ， 还 有 一 个 test 命令 
也 可 以 用 于 测试 。 





实战 演练 
来 看 看 用 于 比较 和 测试 的 各 种 方法 : 


口 if 条 件 





if condition; 
then 

commands; 
fi 


Delse if 和 和 else 


if condition; 

then 
commands; 

else if condition; then 
commands; 

else 
commands; 

让 主 


人 


if 和 else 语 名 能 够 谱 套 使 用 。if 的 条 件 判 断 部 分 可 能 会 变 得 很 长 , 但 可 以 用 
逻辑 运算 符 将 它 变 得 简洁 一 些 : 

口 [ condition ] && action; # 如 果 condition 为 真 ， 则 执行 action 

D [ condition ] || action; # 如 果 condition 为 假 ， 则 执行 action 





5&& 是 逻辑 与 运算 符 ，| | 是 逻辑 或 运算 符 。 编 写 Bash 肢 本 时 ， 这 是 一 个 很 有 用 
的 技巧 。 


现在 来 了 解 一 下 条 件 和 比较 操作 。 
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口 算术 比较 


比较 条 件 通 常 被 放置 在 封闭 的 中 括号 内 。 一 定 要 注意 在 [或 ] 与 操作 数 之 间 有 一 个 空格 。 
如 果 忘 记 了 这 个 空格 ， 脚 本 就 会 报错 。 
































[$var -eq 0 ] or [ $var -eq 0] 
对 变量 或 值 进行 算术 条 件 测试 : 


[ $var -eq 0 ] # 当 $var 等 于 0 时 ， 返 回 真 
[ $var -ne 0 ] # 当 $var 不 为 0 时 ， 返 回 真 


其 他 重要 的 操作 符 如 下 。 


。 -gt: 大 于 。 
e -lt: 小 于 。 
e -ge: 大 于 或 等 于 。 
。 -1e: 小 于 或 等 于 。 


-a 是 逻辑 与 操作 符 ，-o 是 逻辑 或 操作 符 。 可 以 按照 下 面 的 方法 结合 多 个 条 件 进行 测试 : 


[ $varl -ne 0 -a $var2 -gt 2 ] # 使 用 远 辑 与 -a 
[ $varl -ne 0 -o $var2 -gt 2 ] # 逻 辑 或 -oO 


口 文件 系统 相关 测试 
我 们 可 以 使 用 不 同 的 条 件 标 志 测 试 各 种 文件 系统 相关 的 属性 。 


。 [ -f $file_var ]: 如 果 给 定 的 变量 包含 正常 的 文件 路 径 或 文件 名 ， 则 返回 真 。 
。[ -x $var ]: 如 果 给 定 的 变量 包含 的 文件 可 执行 ， 则 返回 真 。 

。[ -d $var ]: 如 果 给 定 的 变量 包含 的 是 目录 ， 则 返回 真 。 

。[ -e $var ]: 如 果 给 定 的 变量 包含 的 文件 存在 ， 则 返回 真 。 

。[ -c $var ]: 如 果 给 定 的 变量 包含 的 是 一 个 字符 设备 文件 的 路 径 ， 则 返回 真 。 
。[ -b $var ]: 如 果 给 定 的 变量 包含 的 是 一 个 块 设备 文件 的 路 径 ， 则 返回 真 。 
。[ -w $var ]: 如 果 给 定 的 变量 包含 的 文件 可 写 ， 则 返回 真 。 

。[ -r $var ]: 如 果 给 定 的 变量 包含 的 文件 可 读 ， 则 返回 真 。 

。[ -L $var ]: 如 果 给 定 的 变量 包含 的 是 一 个 符号 链接 ， 则 返回 真 。 


考虑 下 面 的 例子 : 


fpath="/etc/passwd" 
if [ -e $fpath ]; then 
echo File exists; 
else 
echo Does not exist,; 





























fi 
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进行 字符 串 比 较 时 ， 最 好 用 双 中 括号 ， 因 为 有 时 候 采 用 单个 中 括号 会 产生 错误 。 
注意 ， 双 中 括号 是 Bash 的 一 个 扩展 特性 。 如 果 出 于 性 能 考虑 ， 使 用 ash 或 dash 
来 运行 脚本 ， 那 么 将 无 法 使 用 该 特性 。 
测试 两 个 字符 串 是 否 相 同 。 
e [[Sstrl = $str2 ]]: 当 str1 等 于 str2 时 ,返回 真 。 也 就 是 说 ，str1 和 str2 包 
含 的 文本 是 一 模 一 样 的 。 
e [[ sstrl == $str2 ]]: 这 是 检查 字符 串 是 否 相同 的 另 一 种 写法 。 


























测试 两 个 字符 串 是 否 不 同 。 
e [[ Sstrl != $str2 ]]: 如 果 stri1 和 str2 不 相同 ， 则 返回 真 。 
找 出 在 字母 表 中 靠 后 的 字符 串 。 


字符 串 是 依据 字符 的 ASCII 值 进行 比较 的 。 例 如 ，A 的 值 是 0x41，a 的 值 是 0x61。 因 此 ，A 
小 于 a，AAa 小 于 Aaa。 


















































e [[ $strl > $str2 ]]: 如 果 strl1 的 字母 序 比 str2 大 ， 则 返回 真 。 
e [[ $strl < $str2 ]]: 如 果 str1 的 字母 序 比 str2 小 ， 则 返回 真 





oO 


注意 在 = 前 后 各 有 一 个 空格 。 如 果 忘 记 加 空格 ， 那 就 不 是 比较 关系 了 ， 而 是 变 
成 了 赋值 语句 。 


测试 空 串 。 


e [[ -z $strl ]]: 如 果 str1 为 空 串 ， 则 返回 真 。 
e [[ -n $strl ]]: 如 果 strl1 不 为 空 串 ， 则 返回 真 。 


使 用 逻辑 运算 符 gg 和 | | 能 够 很 容易 地 将 多 个 条 件 组 合 起 来 : 








En Stil TY SEE2 J 
then 
commands; 
£1i 
例如 : 
strl="Not empty " 
str2=" 中 
TE TI nn SStrL J Ce [Ll = SStr2: J]? 
then 


echo strl is nonempty and str2 is empty string. 
£1i 
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输出 如 下 : 
strl is nonempty and str2 is empty string. 
test 命 令 可 以 用 来 测试 条 件 。 用 test 可 以 避免 使 用 过 多 的 括号 ， 增 强 代码 的 可 读 性 。 之 前 
过 的 [] 中 的 测试 条 件 同样 可 以 用 于 test 命 令 。 例 如 : 
if [ $var =eq 0 ]7 then echo "Trueé"; fi 


也 可 以 写成 : 




















< 


if test Svar -eq 0 ; then echo "True"; fi 


注意 ，test 是 一 个 外 部 程序 ， 需 要 衍生 出 对 应 的 进程 ， 而 [ 是 Bash 的 一 个 内 
部 函数 ， 因 此 后 者 的 执行 效率 更 高 。test 兼 容 于 Bourne shell、ash、dash 等 。 


1.18 ”使 用 配置 文件 定制 bash 


你 在 命令 行 中 输入 的 绝 大 部 分 命令 都 可 以 放置 在 一 个 特殊 的 文件 中 ， 留 待 登录 或 启动 新 的 
bash 会 话 时 执行 。 将 函数 定义 、 别 名 以 及 环境 变量 设置 放置 在 这 种 特殊 文件 中 ， 是 一 种 定制 shell 
的 常用 方法 。 


放 入 配置 文件 中 的 常见 命令 如 下 : 


# 定义 ls 命令 使 用 的 颜色 
LS_COLORS='no=00:di=01;46:1ln=00;36:pi=40;33:so=00;35:bd=40;33;01' 
export LS_COLORS 

# 主 提示 符 

PS1='Hello $USER'; export PS1 

# 正常 路 径 之 外 的 个 人 应 用 程序 安装 目录 
PATH=$PATH: /opt /MySpecialApplication/bin; export PATH 

# 常用 命令 的 便捷 方式 

function lc () {/bin/ls -C $* ; } 


应 该 使 用 哪些 定制 文件 ? 


Linux 和 Unix 中 能 够 放置 定制 脚本 的 文件 不 止 一 个 。 这 些 配 置 文件 分 为 3 类 : 登录 时 执行 的 、 
启动 交互 式 shell 时 执行 的 以 及 调用 shell 处 理 脚 本 文件 时 执行 的 。 














实战 演练 
当 用 户 登录 shell 时 ， 会 执行 下 列 文件 : 


/etc/profile, S$HOME/.profile, S$HOME/.bash login, S$HOME/.bash profile / 


44 第 1 章 小 试 牛刀 





$HOME/.profile 和 $HOME/.bash profile 这 3 个 文件 的 。 这 是 因为 图 形 化 窗口 管理 器 
并 不 会 启动 shell。 当 你 打开 终端 窗口 时 才 会 创建 shell, 但 这 个 shell 也 不 是 登录 shell。 


如 果 .bash_profile 或 .bash_ login 文 件 存 在 ， 则 不 会 去 读 取 .profile 文 件 。 


i 注意 ， 如 果 你 是 通过 图 形 化 登录 管理 器 登入 的 话 ， 是 不 会 执行 /etc/profile、 


交互 式 shell ( 如 X11 终 端 会 话 ) 或 ssh 执 行 单条 命令 (如 ssh 192.168.1.1 1s /tmp ) 时 ， 
会 读 取 并 执行 以 下 文件 : 

/etc/bash.bashrc $HOME/ .bashrc 

如 果 运行 如 下 脚本 : 

$> cat myscript.sh 


#!/bin/bash 
echo "Running" 


不 会 执行 任何 配置 文件 ， 除 非 定义 了 环境 变量 BASH_ENV: 








$> export BASH ENV=~/.bashrc 
$> ./myscript.sh 


使 用 ssh 运 行 下 列 命 令 时 : 
ssh 192.168.1.100 1s /tmp 
会 启动 一 个 bash shell, 读 取 并 执行 /etc/bash.bashrc 和 $HOME/.bashrc, 但 不 包括 /etc/profile 或 .profile。 
如 果 调 用 ssh 登 录 会 话 : 
ssh 192.168.1.100 
这 会 创建 一 个 新 的 登录 bash shell， 该 shell 会 读 取 并 执行 以 下 文件 : 
/etc/profile 


/etc/bash.bashrc 
$HOME/ .profile or .bashrc profile 


危险 : 像 传统 的 Bourne shell、ash、dash 以 及 ksh 这 类 shell, 也 会 读 取 配置 文件 。 
和 但 是 这 些 shell 并 不 支持 线性 数组 (列表 ) 和 关联 数组 。 因 此 要 避免 在 /etc/profile 或 
$HOME/.profile 中 使 用 这 类 不 支持 的 特性 。 


可 以 使 用 这 些 文件 定义 所 有 用 户 所 需要 的 非 导 出 项 ( 如 别名 )。 例 如 : 


alias 1 "ls -1" 
/etc/bash.bashrc /etc/bashrc 











也 可 以 用 来 保存 个 人 配置 ， 比 如 设置 需要 由 其 他 bash 实 例 继承 的 路 径 信息 ， 就 像 下 面 这 样 : 
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CLASSPATH=S$SCLASSPATH: SHOME/MyJavaProject; export CLASSPATH 
SHOME/ .bash_login SHOME/.bash profile SHOME/. profile 


如 果 .bash_ login 或 .bash_profile 奇 在 , 则 不 会 读 取 .profile。 不 过 其 他 shell 可 能 会 
读 取 该 文件 。 





男 外 还 可 以 保存 一 些 需 要 在 新 shell 创 建 时 定义 的 个 人 信息 。 如 果 你 希望 在 X11 终端 会 话 中 能 
够 使 用 别名 和 函数 的 话 ， 可 以 将 其 定义 在 $SHOME/.bpashrc 和 /etc/bash.bashrc 中 。 





导出 变量 和 函数 会 传递 到 子 sShell 中 , 但 是 别名 不 会 。 你 必须 将 BASH_ENV 的 值 
el 设置 为 .bashrc 或 .brofile， 然 后 在 其 中 定义 别名 ， 这 样 就 可 以 在 shell 脚 本 中 使 
用 这 些 别名 了 。 


当 用 户 登 出 会 话 时 ， 会 执行 下 列 文件 : 
$HOME/ .bash_ logout 
例如 ， 远 程 登 录 的 用 户 需 要 在 登 出 的 时 候 


$> cat ~/.bash logout 
# 远程 登 出 之 后 清 屏 


Clear 




















全 S 
命令 之 乐 
本 章 内 容 
口 用 ca 进行 拼接 口 临时 文件 命名 与 随机 数 
口 录制 并 回放 终端 会 话 口 分 割 文件 与 数据 
口 查找 并 列 出 文件 口 根据 扩展 名 切 分 文件 名 
口 玩 转 xargs 口 多 个 文件 的 重 命名 与 移动 
口 用 tr 进行 转换 口 拼写 检查 与 词典 操作 
口 校 验 和 与 核实 口 交互 输入 自动 化 
口 加 密 工具 与 散 列 口 利用 并 行进 程 加 速 命令 执行 
口 行 排序 口 检查 目录 以 及 其 中 的 文件 与 子 目 录 
2.1 简介 


类 Unix 系 统 享有 最 棒 的 命令 行 工具 。 这 些 命令 的 功能 并 不 复杂 , 都 能 够 简化 我 们 的 工作 。 简 
单 的 功能 可 以 通过 相互 结合 来 解决 复杂 的 问题 。 简 单 命 令 的 组 合 是 一 门 艺术 , 实践 得 越 多 ,收益 
就 越 大 .本章 将 为 你 介绍 一 些 最 值得 关注 同时 也 最 实用 的 命令 ,其 中 包括 grep .awk sed 和 finaq。 



































2.2 用 cat 进行 拼接 


cat 命 令 能 够 显示 或 拼接 文件 内 容 ， 不 过 它 的 能 力 远 不 止 如 此 。 比 如 说 ，cat 能 够 将 标准 输 
入 数据 与 文件 数据 组 合 在 一 起 。 通常 的 做 法 是 将 stain 重 定向 到 一 个 文件 , 然后 再 合并 两 个 文件 。 
而 cat 命 令 一 次 就 能 搞定 这 些 操 作 。 接 下 来 你 会 看 到 该 命令 的 基本 用 法 和 高 级 用 法 。 





2.2.1 ”实战 演练 


cat 命 令 是 一 个 经 常会 用 到 的 简单 命令 ， 它 本 身 表示 conCATenate( 拼接 )。 
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用 cat 读 取 文 件 内 容 的 一 般 语 法 是 : 
$ cat filel file2 file3 ... 
该 命令 将 作为 命令 行 参 数 的 文件 内 容 拼接 在 一 起 并 将 结果 发 送 到 stdout。 
口 打印 单个 文件 的 内 容 
$ cat file.txt 


This is a line inside file.txt 
This is the second line inside file.txt 


口 打印 多 个 文件 的 内 容 
$ cat one.txt two.txt 


This line is from one.txt 
This line is from two.txt 


cat 命 令 不 仅 可 以 读 取 文件 、 拼 接 数 据 ， 还 能 够 从 标准 输入 中 读 取 。 
管道 操作 符 可 以 将 数据 作为 cat 命 令 的 标准 输入 : 

OUTPUT_FROM_ SOME COMMANDS | cat 

cat 也 可 以 将 文件 内 容 与 终端 输入 拼接 在 一 起 。 

下 面 的 命令 将 stdain 和 另 一 个 文件 中 的 数据 组 合 在 一 起 : 





$ echo 'Text through stdin' | cat - file.txt 


在 上 例 中 ，- 被 作为 stain 文 本 的 文件 名 。 


2.2.2 补充 内 容 

cat 命 令 还 有 一 些 用 于 文件 查看 的 选项 。 可 以 在 终端 会 话 中 输入 man cat 来 查看 完整 的 选项 
列表 。 

1. 去 掉 多 余 的 空白 行 

有 时 候 文 本 文件 中 可 能 包含 多 处 连续 的 空白 行 。 如 果 你 想 删 除 这 些 额 外 的 空白 行 ， 可 以 这 
样 做 : 

$ cat -s file 

考虑 下 面 的 例子 : 


$ cat multi blanks.txt 
line 1 








line3 

line4 

$ cat -s multi blanks.txt # 压 缩 相 邻 的 空白 行 
line 1 

line 2 


line 3 


line 4 
另外 也 可 以 用 tr 删除 所 有 的 空白 行 ， 我 们 会 在 2.6 节 详细 讨论 。 
2. 将 制 表 符 显示 为 ^I 


单 从 视觉 上 很 难 将 制 表 符 同 连续 的 空格 区 分 开 。 对 于 Python 而 言 ， 制 表 符 和 空格 是 区 别 对 待 
的 。 在 文本 编辑 器 中 ,两 者 看 起 来 差不多 , 但 是 解释 器 将 其 视 为 不 同 的 缩 进 。 仅 仅 在 文本 编辑 器 
中 进行 观察 是 很 难 发 现 这 种 错误 的 。cat 有 一 个 特性 ， 可 以 将 制 表 符 识别 出 来 。 这 有 助 于 排查 缩 


用 ca 命令 的 -T 选 项 能 够 将 制 表 符 标记 成 *I。 例 如 : 
































$ cat file.py 
def function() : 
yar SS 3 
next = 6 
te 二 了 


S cat -T file.py 
def function() : 
| 
^I^Inext = 6 
人 上 向 站 外 这 分 于 

3. 行 号 

cat 命 令 的 -n 选 项 会 在 输出 的 每 一 行内 容 之 前 加 上 行 号 。 例 如 : 


$ cat lines.txt 
line 
line 
line 


$ cat -n lines.txt 
1 line 
2 line 
3 line 
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别 担 心 ，cat 命 令 绝 不 会 修改 你 的 文件 ， 它 只 是 根据 用 户 提 供 的 选项 在 
stdout 中 生成 一 个 修改 过 的 输出 而 已 ,可 别 尝试 用 重 定向 来 覆盖 输入 文件 ,shell 
在 打开 输入 文件 之 前 会 先 创建 新 的 输出 文件 。cat 命 令 不 允许 使 用 相同 的 文件 作 
为 输入 和 重 定向 后 的 输出 。 利 用 管道 并 重 定向 输出 会 清空 输入 文件 。 





$> echo "This will vanish" > myfile 

$> cat -n myfile >myfile 

cat: myfile: input file is output file 

$> cat myfile | cat -n >myfile 

$> 1s -1 myfile 

-rw-rw-rw-. 1 user user 0 Aug 24 00:14 myfile ; # myfile 为 空 文件 


会 为 包括 空 行 在 内 的 所 有 行 生 成 。 如 果 你 想 跳 过 空白 行 ， 可 以 
使 用 全 Bs 


2.3 ”录制 并 回放 终端 会 话 


将 屏幕 会 话 录制 成 视频 肯定 有 用 ,不 过 对 于 调试 终端 会 话 或 是 提供 shell 教 程 来 说 , 视频 有 些 
“ 杀 鸡 用 牛刀 ”了 。 


shell 给 出 了 男 一 种 选择 。script 命 令 能 够 录制 你 的 击 键 以 及 击 键 时 机 ， 并 将 输入 和 输出 结 
果 保 存在 对 应 的 文件 中 。scriptreplay 命 令 可 以 回放 会 话 。 











2.3.1 预备 知识 


script 和 scriptreplay 命 令 在 绝 大 多 数 GNU/Linux 发 行 版 上 都 可 以 找到 。 你 可 以 通过 录制 
终端 会 话 来 制作 命令 行 技 巧 视频 教程 , 也 可 以 与 他 人 分 享 会 话 记录 文件 , 研究 如 何 使 用 命令 行 完 
成 某 项 任务 。 你 甚至 可 以 调用 其 他 解释 器 并 录制 发 送 给 该 解释 器 的 击 键 。 但 你 无 法 记录 vi、emacs 
或 其 他 将 字符 映射 到 屏幕 特定 位 置 的 应 用 程序 。 






































2.3.2 ”实战 演练 
开始 录制 终端 会 话 : 
$ Script -t 2> timing.log -a output .session 
完整 的 录制 过 程 如 下 : 
$ Script -t 2> timing.log -a output .session 
# 演示 tclsh 


$ tclsh 
% puts [expr 2 + 2] 





4 
% exit 
$ exit 
i 注意 , 该 攻略 不 适用 于 不 支持 单独 将 stderr 重 定向 到 文件 的 shell, 比如 csh 
shell, 


可 以 指定 一 个 文件 名 作为 script 命 令 的 参数 。 该 文件 将 保存 击 键 及 命令 结果 。 如 果 指 定 了 
-选项 ，script 命 令 会 把 时 序数 据 发 送 到 staout 。 可 以 将 这 些 数据 重 定 向 到 其 他 文件 中 
( timing.log )， 这 样 该 文件 中 就 记录 了 每 次 击 键 的 时 机 以 及 输出 信息 。 上 面 的 例子 中 使 用 2> 将 
stderr 重 定向 到 了 文件 timing.log。 


利用 文件 timing.log 和 output.session， 可 以 按照 下 面 的 方法 回放 命令 执行 过 程 : 











$ scriptreplay timing.log output.session 


# 播放 命令 序列 及 输出 


2.3.3 工作 原理 


我 们 通常 会 录制 桌面 环境 视频 来 作为 教程 使 用 。 但 是 视频 需要 大 量 的 存储 空间 ， 而 终端 脚本 
文件 仅仅 是 一 个 文本 文件 ， 其 文件 大 小 不 过 是 KB 级 别 。 

你 可 以 把 timing.log 和 output.session 文 件 分 享 给 任何 想 在 自己 的 终端 上 回放 这 段 终端 会 话 
的 人 。 
























































2.4 查找 并 列 出 文件 

find 是 Unix/Linux 命 令 行 工 具 箱 中 最 棒 的 工具 之 一 。 该 命令 在 命令 行 和 shell 脚 本 编写 方面 都 
能 发 挥 功 效 。 同 cat 和 1s 一 样 ，find 也 包含 大 量 特 性 ， 多数 用 户 都 没有 发 挥 出 它 的 最 大 威力 。 这 
则 攻略 讨论 了 fing 的 一 些 常 用 的 查找 功能 。 








2.4.1 预备 知识 


find 命 令 的 工作 方式 如 下 : 沿 着 文件 层次 结构 向 下 遍历 ， 匹 配 符 合 条 件 的 文件 ， 执 行 相应 
的 操作 。 默 认 的 操作 是 打印 出 文件 和 目录 ， 这 也 可 以 使 用 -print 选 项 来 指定 。 




















2.4.2 ”实战 演练 
要 列 出 给 定 目录 下 所 有 的 文件 和 子 目 录 ， 可 以 采用 下 面 的 语法 : 





$ find base path 
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bash_path 可 以 是 任意 位 置 (例如 /home/slynux )，fing 会 从 该 位 置 开始 向 下 查找 。 例 如 : 





$ find . -print 
.history 

Downloads 
Downloads/tcl.fossil 
Downloads/chapter2.doc 





. 指定 当前 目录 ，.. 指定 父 目录 。 这 是 Unix 文 件 系统 中 的 约定 用 法 。 





print 选 项 使 用 \n (换行 符 ) 分 隔 输 出 的 每 个 文件 或 目录 名 。 而 -print0 选 项 则 使 用 空 字符 
'\0' 来 分 隔 。-print0 的 主要 用 法 是 将 包含 换行 符 或 空白 字符 的 文件 名 传 给 xargs 命 令 。 随后 会 
详细 讨论 xargs 命 令 : 

















$> echo "test" > "file name" 

$> find . -type f -print | xargs 1s -1 

ls: cannot access ./file: No such file or directory 
ls: cannot access name: No such file or directory 
$> find . -type f -print0 | xargs -0 ls -1 
-rw-rw-rw-. 1 user group 5 Aug 24 15:00 ./file name 


2.4.3 ”补充 内 容 


上 面 的 例子 演示 了 如 何 使 用 fina 列 出 文件 层次 中 所 有 的 文件 和 目录 。finq 命 令 能 够 基于 通 
配 符 或 正则 表达 式 、 目 录 树 深度 、 文 件 日 期 、 文 件 类 型 等 条 件 查找 文件 。 


1. 根据 文件 名 或 正则 表达 式 进行 搜索 


-name 选 项 指定 了 待 查找 文件 名 的 模式 。 这 个 模式 可 以 是 通配符 ， 也 可 以 是 正则 表达 式 。 在 
下 面 的 例子 中 ，'* .txt ' 能 够 匹配 所 有 名 字 以 .tx 结尾 的 文件 或 目录 。 





















































的 通配符 。 单 引号 能 够 阻止 shell 扩 展 * .txt， 使 得 该 字符 串 能 够 原封 不 动 地 传 给 
find 命 令 。 


i 注意 *.txt 两 边 的 单 引 号 。shell 会 扩展 没有 引号 或 是 出 现在 双 引 号 (") 中 


$ find /home/slynux -name '*.txt' -print 


find 命 令 有 一 个 选项 -iname ( 忽略 字母 大 小 写 ), 该 选项 的 作用 和 -name 类 似 ， 只 不 过 在 匹 
配 名 字 时 会 忽略 大 小 写 。 例 如 : 





$ 1s 
example.txt EXAMPLE.txt file.txt 
$ find . -iname "example*" -print 


./example.txt 
/EXAMPLE .txt 
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find 命 令 支 持 逻 辑 操 作 符 。-a 和 -and 选 项 可 以 执行 逻辑 与 (AND ) 操作 ，-o 和 -or 选项 可 
以 执行 逻辑 或 (OR ) 操作 。 

$ 1s 

new.txt some.jpg text.pdf stuff.png 

$ find . \( -name '*.txt' -oO -name '*.pdf' \) -print 

./text .pdf 

./new.txt 

上 面 的 命令 会 打印 出 所 有 的 .txt 和 .pdf 文 件 ， 因 为 这 个 fing 命 令 能 够 匹配 所 有 这 两 类 文件 。、 
(以 及 \ ) 用 于 将 -name '*.txt' -oO -name '* .pdf' 视 为 一 个 整体 。 


下 面 的 命令 演示 了 如 何 使 用 -and 操 作 符 选择 名 字 以 s 开 头 且 其 中 包含 e 的 文件 : 


$ find . \( -name '*e*' -and -name 's*' \) 
./some.jpg 


-path 选 项 可 以 限制 所 匹配 文件 的 路 径 及 名 称 。 例 如 ，$ fingd /home/users -path 
'*/slynux/*' -name '*.txt' -print 能 够 匹配 文件 /home/users/slynux/readme.txt， 但 无 法 匹 
EL/home/users/slynux.txt。 





0 _yegex 选 项 和 -path 类 似 , 只 不 过 前 者 是 基于 正则 表达 式 来 匹配 文件 路 径 的 。 


正则 表达 式 比 通配符 更 复杂 , 能 够 更 精确 地 进行 模式 匹配 。 使 用 正则 表达 式 进行 文本 匹配 的 
一 个 典型 例子 就 是 识别 E-mail 地 址 。 E-mail 地 址 通常 采用 name@host.root 这 种 形式 , 所 以 可 以 将 其 
一 般 化 为 [a-z0-9]+@[a-z0-9]+\. [a-z0-9]+。 中 括号 中 的 字符 表示 的 是 一 个 字符 组 。 在 
这 个 例子 中 ， 该 字符 组 中 包含 a-z 和 0-9。 符号 + 指明 在 它 之 前 的 字符 组 中 的 字符 可 以 出 现 一 次 
或 多 次 。 点 号 是 一 个 元 字符 ( 就 像 通 配 符 中 的 ? )， 因此 必须 使 用 反 斜 线 对 其 转 义 , 这样 才 能 匹配 
到 E-mail 地 址 中 实际 的 点 号 。 这 个 正则 表达 式 可 以 理解 为 : 一 系列 字母 或 数字 ， 然 后 是 一 个 @， 
接着 是 一 系列 字母 和 数字 ， 再 跟 上 一 个 点 号 ， 最 后 以 一 系列 字母 和 数字 结尾 。 我 们 会 在 4.2 节 中 
详细 讲述 正则 表达 式 。 


下 面 的 命令 可 以 匹配 .py 或 .sh 文件 : 


$ 1s 

new.PY next.jpg test.py script.sh 
$ find . -regex '.*\. (py\|sh\)s' 
./test.py 

script.sh 


-iregex 选 项 可 以 让 正则 表达 式 在 匹配 时 忽略 大 小 写 。 例 如 : 


$ find . -iregex '.*\(\.py\|\.sh\)s$" 
./test.py 

./new.PY 

./script.sh 
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2. 否定 参数 
find 也 可 以 用 ! 排 除 匹 配 到 的 模式 : 


$ find . ! -name "*.txt" -print 
上 面 的 fing 命 令 能 够 匹配 所 有 不 以 .txt 结 尾 的 文件 。 该 命令 的 运行 结果 如 下 : 
$ 1s 


list.txt new.PY new.txt next.jpg test.py 
$ find . ! -name "*.txt" -print 
./next .jpg 


./test.py 
./new.PY 


3. 基于 目录 深度 的 搜索 


findq 命 令 在 查找 时 会 遍历 完 所 有 的 子 目 录 。 默 认 情 况 下 ，find 命 令 不 会 跟随 符号 链接 。-L 
选项 可 以 强制 其 改变 这 种 行为 。 但 如 果 磁 上 了 指向 自身 的 链接 ，fing 命 令 就 会 陷入 死 循环 中 。 








-maxdepth 和 -mindepth 选 项 可 以 限制 find 命 令 遍 历 的 目录 深度 。 这 可 以 避免 finq 命 令 没 
完 没 了 地 查找 。 





/proc 文 件 系统 中 包含 了 系统 与 当前 执行 任务 的 信息 。 特 定 任务 的 目录 层次 相当 深 ， 其 中 还 
有 一 些 绕 回 到 自身 ( loop back on themselves ) 的 符号 链接 。 系 统 中 运行 的 每 个 进程 在 proc 中 都 有 
对 应 的 子 目 录 ， 其 名 称 就 是 该 进程 的 进程 ID。 这 个 目录 下 有 一 个 叫 作 cwq 的 链接 ， 指 向 进程 的 当 
前 工作 目录 。 








下 面 的 例子 展示 了 如 何 列 出 运行 在 含有 文件 bundlemaker.def 的 目录 下 的 所 有 任务 : 
$ find -L /proc -maxdepth 1 -name 'bundlemaker.def' 2>/dev/null 

口 -L 选 项 告诉 fina 命 令 跟随 符号 链接 

口 从 /proc 目 录 开 始 查 找 

口 -maxdepth 1 将 搜索 范围 仅 限制 在 当前 目录 

口 -name 'bundlemaker .def' 指 定 待 查找 的 文件 

口 2>/dev/null 将 有 关 循 环 链接 的 错误 信息 发 送 到 空 设备 中 








-mindepth 选 项 类 似 于 -maxdepth， 不 过 它 设置 的 是 fing 开 始 进行 查找 的 最 小 目录 深度 。 
这 个 选项 可 以 用 来 查找 并 打印 那些 距离 起 始 路 径 至 少 有 一 定 深度 的 文件 。 例 如 , 打印 出 深度 距离 
当前 目录 至 少 两 个 子 目 录 的 所 有 名 字 以 f 开 头 的 文件 : 

$ find . -mindepth 2 -name "f*" -print 


./dirl/dir2/filel 
./dir3/dir4/f£2 
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即使 当前 目录 或 dir1 和 dir3 中 包含 以 {开头 的 文件 ， 它 们 也 不 会 被 打印 出 来 。 


了 


-maxdepth 和 -mindepth 应 该 在 find 命 令 中 及 早出 现 。 如 果 作 为 靠 后 的 选 
项 ， 有 可 能 会 影响 到 findq 的 效率 ， 因 为 它 不 得 不 进行 一 些 不 必要 的 检查 。 例 如 ， 
如 果 -maxdepth 出 现在 -type 之 后 ，find 首 先 会 找 出 -type 所 指定 的 文件 ， 然 
0 后 再 在 匹配 的 文件 中 过 滤 掉 不 符合 指定 深度 的 那些 文件 。 但 是 如 果 反 过 来 ， 在 
-type 之 前 指定 目录 深度 ， 那 么 Eind 就 能 够 在 找到 所 有 符合 指定 深度 的 文件 后 ， 
再 检查 这 些 文件 的 类 型 ， 这 才 是 最 有 效 的 搜索 之 道 。 


4. 根据 文件 类 型 搜索 

类 Unix 系 统 将 一 切 都 视 为 文件 。 文 件 具有 不 同 的 类 型 ， 例 如 普通 文件 、 目 录 、 字 符 设 备 、 块 
设备 、 符 号 链接 、 硬 链接 、 套 接 字 以 及 FIFO 等 。 

find 命 令 可 以 使 用 -type 选 项 对 文件 搜索 进行 过 滤 。 借 助 这 个 选项 ， 我 们 可 以 告诉 fing 命 
令 只 匹配 指定 类 型 的 文件 。 


只 列 出 所 有 的 目录 ( 包括 子 目录 ): 









































$ find . -type d -print 


将 文件 和 目录 分 别 列 出 可 不 是 件 容 易 




















和 。 不 过 有 了 fingd 就 好 办 了 。 例如， 只 列 出 普通 文件 : 


山中 























$ find 。 -type f -print 

只 列 出 符号 链接 : 

$ find . -type 1 -print 

表 2-1 列 出 了 fing 能 够 识别 出 的 类 型 与 参数 。 

表 2-1 

文件 类 型 类 型 参数 
普通 文件 £ 
符号 链接 1 
字符 设备 c 
块 设备 b 
套 接 字 S 


FIFO p 
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5. 根据 文件 的 时 间 惟 进行 搜索 
Unix/Linux 文 件 系 统 中 的 每 一 个 文件 都 有 3 种 时 间 戳 ， 如 下 所 示 。 


口 访问 时 间 〈 -atime ): 用 户 最 近 一 次 访问 文件 的 时 间 。 
口 修改 时 间 ( -mtime ): 文件 内 容 最 后 一 次 被 修改 的 时 间 。 
口 变化 时 间 〈 -ctime ): 文件 元 数据 ( 例如 权限 或 所 有 权 ) 最 后 一 次 改变 的 时 间 。 








Unix 默 认 并 不 保存 文件 的 创建 时 间 。 但 有 一 些 文件 系统 (ufs2、ext4、zfs、 
ptrfs、jfs ) 会 选择 这 么 做 。 可 以 使 用 stat 命 令 访问 文件 创建 时 间 。 
鉴于 有 些 应 用 程序 通过 先 创建 一 个 新 文件 ,然后 再 删除 原始 文件 的 方法 来 修 
改 文件 ， 文 件 创建 时 间 未 必 准 确 。 
-atime、-mtime 和 -ctime 可 作为 fingd 的 时 间 选 项 。 它 们 可 以 用 整数 值 来 
指定 天 数 。 这 些 数字 前 面 可 以 加 上 -或 +。- 表 示 小 于 ，+ 表 示 大 于 。 
考虑 下 面 的 例子 。 
邮 口 打印 出 在 最 近 7 天 内 被 访问 过 的 所 有 文件 。 
电 $ find . -type f -atime -7 -print 
口 打印 出 恰好 在 7 天 前 被 访问 过 的 所 有 文件 。 
$ find . -type f -atime 7 -print 
口 打印 出 访问 时 间 超 过 7 天 的 所 有 文件 。 
$ find . -type f -atime +7 -print 
-mtime 选 项 会 根据 修改 时 间 展 开 搜 索 ，-ctime 会 根据 变化 时 间 展 开 搜索 。 
-atime、-mtime 以 及 -ctime 都 是 以 “天 ”为 单位 来 计时 的 。fing 命 令 还 支持 以 “分 钟 ” 
为 计时 单位 的 选项 。 这 些 选 项 包括 : 


口 -amin (访问 时 间 ); 
口 -mmin (修改 时 间 ); 
口 -cmin (变化 时 间 )。 


打印 出 7 分 钟 之 前 访问 的 所 有 文件 : 














$ find . -type f -amin +7 -print 


-newer 选 项 可 以 指定 一 个 用 于 比较 修改 时 间 的 参考 文件 ， 然 后 找 出 比 参 考 文件 更 新 的 (更 
近 的 修改 时 间 ) 所 有 文件 。 
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例如 ， 找 出 比 file.txt 修 改 时 间 更 近 的 所 有 文件 : 


$ find . -type 上 -newer file.txt -print 
findq 命 令 的 时 间 戳 处 理 选 项 有 助 于 编写 系统 备份 和 维护 脚本 。 
6. 基于 文件 大 小 的 搜索 

可 以 根据 文件 的 大 小 展开 搜索 : 


# 大 于 2KB 的 文件 
$ find . -type f -size +2k 


# 小 于 2KB 的 文件 
$ find . -type f -size -2k 


# 大 小 等 于 2KB 的 文件 
$ find . -type f -size 2k 


除了 k 之 外 ， 还 可 以 用 其 他 文件 大 小 单位 。 


口 b: 块 (512 字 节 )。 

口 c: 字 节 。 

口 w: 字 (2 字 节 )。 

口 k: 千 字 节 (1024 字 节 )。 

口 M: 兆 字 节 ( 1024K 字 节 )。 
口 SG: 吉 字 节 (1024M 字 节 )。 





7. 基于 文件 权限 和 所 有 权 的 匹配 
也 可 以 根据 文件 权限 进行 文件 匹配 。 列 出 具有 特定 权限 的 文件 : 





$ find . -type f -perm 644 -print 
# 打印 出 权限 为 644 的 文件 


-perm 选 项 指明 find 应 该 只 匹配 具有 特定 权限 值 的 文件 。 文 件 权 限 会 在 3.5 节 进行 讲解 。 


以 Apache Web 服 务 器 为 例 。Web 服 务 器 上 的 PHP 文 件 需要 具有 合适 的 执行 权限 。 我 们 可 以 用 
下 面 的 方法 找 出 那些 没有 设置 好 执行 权限 的 PHP 文 件 : 








$ find . -type f -name "*.php" ! -perm 644 -print 
PHP/custom.php 

$ 1s -1 PHP/custom.php 

-rw-rw-rw-. root root 513 Mar 13 2016 PHP/custom.php 


我 们 也 可 以 根据 文件 的 所 有 权 进 行 搜索 。 用 选项 -user USER 就 能 够 找 出 由 某 个 特定 用 户 所 
拥有 的 文件 。 
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参 


例 
$ 
8. 


ET 


命令 都 


数 UsER 可 以 是 用 户 名 或 UID。 
如 ， 可 以 使 用 下 面 的 命令 打印 出 用 户 slynux 拥 有 的 所 有 文件 : 





find . -type f -user slynux -print 


利用 fina 执 行 相应 操作 


nd 命令 能 够 对 其 所 查找 到 的 文件 执行 相应 的 操作 。 无 论 是 删除 文件 或 是 执行 任意 的 Linux 
没有 问题 。 

















(1) 删除 匹配 的 文件 


find 命 令 的 -delete 选 项 可 以 删除 所 匹配 到 的 文件 。 下 面 的 命令 能 够 从 当前 日 录 中 删 
除 .swp 文 件 : 


$ find . -type f -name "*.swp" -delete 


(2) 执行 命令 


利用 -exec 选 项 ，fing 命 令 可 以 结合 其 他 命令 使 用 。 


在 上 一 个 例子 中 ,我们 用 -perm 找 出 了 所 有 权限 不 当 的 PHP 文 件 。 这 次 的 任务 也 差不多 ， 
我 们 需要 将 某 位 用 户 ( 比如 root ) 所 拥有 的 全 部 文件 的 所 有 权 更 改 成 男 一 位 用 户 ( 比如 
Web 服 务 器 默认 的 Apache 用 户 www-data )， 那 么 可 以 用 -user 找 出 root 拥 有 的 所 有 文件 ， 
然后 用 -exec 更 改 所 有 权 。 


是 你 必须 以 root 用 户 的 身份 执行 find 命 令 才 能 够 更 改 文 件 或 目录 的 所 有 权 。 


开工 


文件 ， 


# 


为 
chown 


为 


nd 命令 使 用 一 对 花 括 号 1 代表 文件 名 。 在 下 面 的 例子 中 ， 对 于 每 一 个 匹配 的 文件 ，finqa 
将 {} 替 换 成 相应 的 文件 名 并 更 改 该 文件 的 所 有 权 。 如 果 finq 命 令 找 到 了 root 所 拥有 的 两 个 
那么 它 会 将 其 所 有 者 改 为 slynux: 











find . -type f -user root -exec chown slynux {} \; 


注意 该 命令 结尾 的 \;。 必 须 对 分 号 进行 转 义 ， 否 则 shell 会 将 其 视 为 find 命 
令 的 结束 ， 而 非 chown 命 令 的 结束 。 
每 个 匹配 到 的 文件 调用 命令 可 是 个 不 小 的 开销 。 如 果 指 定 的 命令 接受 多 个 参数 ( 如 
)， 你 可 以 换 用 加 号 (+ ) 作为 命令 的 结尾 。 这 样 finqa 会 生成 一 份 包含 所 有 搜索 结果 的 列 
后 将 其 作为 指定 命令 的 参数 ， 一 次 性 执行 。 


一 个 例子 是 将 给 定 目录 中 的 所 有 C 程 序 文件 拼接 起 来 写 人 单个 文件 all_c_files.txt 各 种 实现 
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方法 如 下 : 


$ find . -type f -name '*.c' -exec cat {} \;>all c files.txt 

$ find . -type f -name '*.c' -exec cat {} > all c files.txt \»; 

$ fine . -type f -name '*.c' -exec cat {} >all c files.txt + 

我 们 使 用 > 操作 符 将 来 自 find 的 数据 重 定向 到 all c_files.txt 文 件 ， 没有 使 用 >>( 追加 ) 的 原 
是 find 命 令 的 全 部 输出 就 只 有 一 个 数据 流 ( stain )， 而 只 有 当 多 个 数据 流 被 扎 加 到 单个 文件 
中 时 才 有 必要 使 用 >>。 


下 列 命令 可 以 将 10 天 前 的 .txt 文 件 复制 到 OLD 目录 中 : 





$ find 。 -type f -mtime +10 -name "*.txt" -exec cp {} OLD \; 
fing 命 令 还 可 以 采用 类 似 的 方法 与 其 他 命令 结合 使 用 。 


我 们 无 法 在 -exec 选 项 中 直接 使 用 多 个 命令 。 该 选项 只 能 够 接受 单个 命令 ， 
不 过 我 们 可 以 要 一 个 小 花招 。 把 多 个 命令 写 到 一 个 shell 脚 本 中 (例如 
command.sh )， 然 后 在 -exec 中 使 用 这 个 脚本 : 


-exec ./commands.sh {} \; 


-exec 可 以 同 printf 搭 配 使 用 来 生成 输出 信息 。 例 如 : 


$ find . -type f -name "*.txt" -exec printf "Text file: %s\n" {} \; 
Config file: /etc/openvpn/easy-rsa/openssl-1.0.0.cnf 
Config file: /etc/my.cnf 


9. 让 find 跳 过 特定 的 目录 

在 find 的 执行 过 程 中 ， 跳 过 某 些 子 目 录 能 够 提升 性 能 。 例 如 ， 在 版 本 控制 系统 (如 Git ) 管 
理 的 开发 源 代 码 树 中 查找 特定 文件 时 , 文件 系统 的 每 个 子 目 录 里 都 会 包含 一 个 目录 , 该 目录 中 保 
存 了 和 版 本 控制 相关 的 信息 。 这 些 目录 通常 跟 我 们 没什么 关系 ， 所 以 没 必 要 去 搜索 它们 。 


在 搜索 时 排除 某 些 文件 或 目录 的 技巧 叫 作 修剪 。 下 面 的 例子 演示 了 如 何 使 用 -prune 选 项 排 
除 某 些 符合 条 件 的 文件 : 

















$ find devel/source path -name '.git' -prune -oO -type f -print 





-name " .git" -prune 是 命令 中 负责 进行 修剪 的 部 分 ， 它 指明 了 .git 目 录 应 该 被 排除 在 外 。 
-type f -print 描 述 了 要 执行 的 操作 。 
2.5 玩 转 xargs 


Unix 命 令 可 以 从 标准 输入 ( stain ) 或 命令 行 参 数 中 接收 数据 。 之 前 的 例子 已 经 展示 了 如 何 
利用 管道 将 一 个 命令 的 标准 输出 传人 到 另 一 个 命令 的 标准 输入 。 














2.5 ” 玩 转 xargs 59 





我 们 可 以 用 别 的 方法 来 调用 只 能 接受 命令 行 
命令 ， 然 后 将 其 输出 作为 命令 行 参 数 : 


党 


数 的 命令 。 最 简单 的 方法 就 是 使 用 反 引 号 执行 





$ gcc ‘fingd '*.C' ~ 
这 种 方法 在 很 多 情况 下 都 管用 , 但 是 如 果 要 处 理 的 文件 过 多 , 你 会 看 到 一 条 可 怕 的 错误 信 ， 


Argument list too long。xargs 命 令 可 以 解决 这 个 问题 


xargs 命 令 从 stain 处 读 取 一 系列 参数 ， 然 后 使 用 这 些 参 数 来 执行 指定 命令 。 它 能 将 单行 或 
多 行 输入 文本 转换 成 其 他 格式 ， 例 如 单行 变 多 行 或 是 多 行 变 单行 。 





证 








2.5.1 预备 知识 
xargs 命 令 应 该 紧 跟 在 管道 操作 符 之 后 。 它 使 用 标准 输入 作为 主要 的 数据 源 ， 将 从 stain 中 
读 取 的 数据 作为 指定 命令 的 参数 并 执行 该 命令 。 下 面 的 命令 将 在 一 组 C 语 言 源码 文件 中 搜索 字符 


串 main: 





ls *.c | xargs grep main 


2.5.2 ”实战 演练 
zargs 命 令 重新 格式 化 stdin 接 收 到 的 数据 ， 再 将 其 作为 参数 提供 给 指定 命令 。xargs 默 认 
会 执行 echo 命令 。 和 finq 命 令 的 -exec 选 项 相 比 ， 两 者 在 很 多 方面 都 相似 。 
口 将 多 行 输入 转换 成 单行 输出 。 
xargs 默 认 的 echo 命 令 可 以 用 来 将 多 行 输入 转换 成 单行 输出 : 
$ cat example.txt # 样 例文 件 
123456 


7 8 9 10 
11 12 








$ cat example.txt | xargs 
12345678910 11 12 


口 将 单行 输入 转换 成 多 行 输出 。 


xargs 的 -n 选 项 可 以 限制 每 次 调用 命令 时 用 到 的 参数 个 数 。 下 面 的 命令 将 输入 分 割 成 多 
行 ， 每 行 N 个 元 素 : 





example.txt | xargs -n 3 
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2.5.3 工作 原理 


xargs 命 令 接受 来 自 stain 的 输入 ， 将 数据 解析 成 单个 元 素 ， 然 后 调用 指定 命令 并 将 这 些 元 
素 作为 该 命令 的 参数 。 xargs 上 默认 使 用 空 白字 符 分 割 输入 并 执行 /bin/echo。 























如 果 文 件 或 目录 名 中 包含 空格 ( 甚至 是 换行 ) 的 话 , 使 用 空白 字符 来 分 割 输入 就 会 出 现 问 题 。 
比如 My Documents 目 录 就 会 被 解析 成 两 个 元 素 : My 和 Documents， 而 这 两 者 均 不 存在 。 


天 无 绝 人 之 路 ， 这 次 也 不 例外 。 
我 们 可 以 定义 一 个 用 来 分 隔 参 数 的 分 隔 符 。-d 选 项 可 以 为 输入 数据 指定 自 定义 的 分 隔 符 : 


$ echo "splitXsplit2xsplit3xXsplit4" | xargs -d X 
Splitl1 split2 split3 split4 


在 上 面 的 代码 中 , stgqin 中 是 一 个 包含 了 多 个 x 字符 的 字符 串 。 我 们 可 以 用 -a 选项 将 x 定义 为 
输入 分 隔 符 。 

结合 -n 选 项 ， 可 以 将 输入 分 割 成 多 行 ， 每 行 包含 两 个 单词 : 

$ echo "splitxXxsplitxXsplitxXxsplit" | xargs -d X -n 2 


Split split 
split split 





xargs 命 令 可 以 同 fingd 命 令 很 好 地 结合 在 一 起 。 fing 的 输出 可 以 通过 管道 传 给 xargs, 由 后 
者 执行 -exec 选 项 所 无 法 处 理 的 复杂 操作 。 如 果 文 件 系统 的 有 些 文件 名 中 包含 空格 , find 命 令 的 
-print0 选 项 可 以 使 用 0( NULL ) 来 分 隔 查找 到 的 元 素 ， 然 后 再 用 xargs 对 应 的 -0 选项 进行 解 
析 。 下 面 的 例子 在 Samba 挂 载 的 文件 系统 中 搜索 .docx 文 件 ， 这些 文件 名 中 通常 会 包含 大 写字 母 和 
空格 。 其 中 使 用 了 grep 找 出 内 容 中 不 包含 image 的 文件 : 



























































$s find /smbMount -iname '*.docx' -print0 | xargs -0 grep -L image 


2.5.4 ”补充 内 容 
上 面 的 例子 展示 了 如 何 使 用 xargs 组 织 数据 。 接 下 来 将 要 学 习 如 何在 命令 行 中 格式 化 数据 。 
1. 读 取 stain， 为 命令 传 入 格式 化 参数 
下 面 是 一 个 短小 的 脚本 cecho， 可 以 用 来 更 好 地 理解 xargs 是 如 何 提供 命令 行 参 数 的 : 


#!/bin/bash 
# 文 件 名 : cecho.sh 
































echo S$*'#' 


当 参 数 被 传递 给 文件 cecho.sh 后 ， 它 会 打印 这 些 参数 并 以 # 守 符 作 为 结尾 。 例 如 : 
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$ ./cecho .sh arg1 arg2 
arg1 arg2 # 


这 里 有 一 个 常见 的 问题 。 


口 有 一 个 包含 着 参数 列表 的 文件 ( 每 行 一 个 参数 ) 要 提供 给 某 个 命令 ( 比如 cecho.sh )。 我 | 
需要 以 不 同 的 形式 来 应 用 这 些 参数 。 在 第 一 种 形式 中 ， 每 次 调用 提供 一 个 参数 。 











./cecho.sh argl 
./cecho.sh arg2 
./cecho.sh arg3 


口 接 下 来 ， 每 次 调用 提供 一 到 两 个 参数 。 


./cecho.sh arg1 arg2 
./cecho .sh arg3 


口 最 后 ， 在 单 次 调用 中 提供 所 有 参数 。 





./cecho .sh argl arg2 arg3 
先 别 急 着 往 下 看 ， 试 着 运行 一 下 上 面 的 命令 ， 然 后 仔细 观察 输出 结果 。xazrgs 命 令 可 以 格式 
化 参数 ， 满 足 各 种 需求 。args.txt 文 件 中 包含 一 个 参数 列表 








$ cat args .七 Xt 
argl 
arg2 
arg3 


对 于 第 一 种 形式 ， 我 们 需要 多 次 执行 指定 的 命令 ， 每 次 执行 时 传人 一 个 参数 。xargs 的 -n 
选项 可 以 限制 传人 命令 的 参数 个 数 : 








$ cat args .txt | xargs -n 1 ./cecho.sh 
arg1l # 
arg2 # 
arg3 # 


如 果 要 将 参数 限制 为 2 个 ， 可 以 这 样 : 


$ cat args.txt | xargs -n 2 ./cecho.sh 
argl arg2 # 
arg3 # 


最 后 ， 为 了 在 执行 命令 时 一 次 性 提供 所 有 的 参数 ， 选 择 不 使 用 -n 选 项 : 








$ cat args .txt | xargs ./cecho.sh 
argl arg2 arg3 # 


在 上 面 的 例子 中 ,由 xargs 添 加 的 参数 都 被 放置 在 指定 命令 的 尾部 。 但 我 们 可 能 需要 在 命令 
末尾 有 一 个 固定 的 参数 ， 并 希望 xargs 能 够 替换 居于 中 间 位 置 的 参数 ， 就 像 这 样 : 





./cecho.sh -p argl -1 
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在 命令 执行 过 程 中 ，arg1 是 唯一 的 可 变 内 容 ， 其 余部 分 都 保持 不 变 。args.txt 中 的 参数 是 像 


这 样 提供 给 命令 的 : 





./cecho.sh -p argl -1 
./cecho.sh -p arg2 -1 
./cecho.sh -p arg3 -1 


xargs 有 一 个 选项 -I， 可 以 用 于 指定 殖 换 字符 串 ， 这 个 字符 串 会 在 xargs 解 析 输 入 时 被 参 
数 替 换 掉 。 如 果 将 -I 与 xargs 结 合 使 用 ， 对 于 每 一 个 参数 ， 指 定 命令 只 会 执行 一 次 。 来 看 看 解 
决 方法 : 

$ cat args.txt | xargs -I {} ./cecho.sh -p {} -1 

-p argl1 -1 # 


-p arg2 -1 # 
-p arg3 -1 # 


-I {} 指 定 了 替换 字符 串 。 为 该 命令 提供 的 各 个 参数 会 通过 st gin 读 取 并 依次 蔡 换 掉 字 符 
串 {)}。 

















使 用 -I 的 时 候 ， 命令 以 循环 的 方式 执行 。 如 果 有 3 个 参数 ， 那 么 命令 就 会 连 
同 {) 一 起 被 执行 3 次 。{} 会 在 每 次 执行 中 被 蔡 换 为 相应 的 参数 。 


2. 结合 find 使 用 xargs 


xargs 和 find 可 以 配合 完成 任务 。 不 过 在 结合 使 用 的 时 候 需 要 留心 。 考 虑 下 面 的 例子 : 





$ find . -type f -name "*.txt" -print | xargs rm -f 

这 样 做 很 危险 ， 有 可 能 会 误 删 文件 。 我 们 无 法 预测 find 命 令 输出 的 分 隔 符 究竟 是 什么 〈 究 
竞 是 '\n' 还 是 ' ' )。 如 果 有 文件 名 中 包含 空格 符 (， ' )，xargs 会 将 其 误 认 为 是 分 隔 符 。 例 如 ， 
bashrc text.txt 会 被 视 为 bashrc 和 text.txt。 因 此 上 面 的 命令 不 会 删除 bashrc texttxt， 而 是 会 把 bashrc 
删除 。 


使 用 find 命 令 的 -print0 选 项 生成 以 空 字符 ('\0' ) 作为 分 隔 符 的 输出 ， 然 后 将 其 作为 


xargs 命 令 的 输入 。 


下 列 命令 会 查找 并 删除 所 有 的 .txt 文 件 : 























$ find . -type f -name "*.txt" -print0 | xargs -0 rm -f 


3. 统计 源 代码 目录 中 所 有 C 程 序 文件 的 行 数 


大 多 数 程 序 员 在 某 一 时 刻 都 会 统计 自己 的 C 程 序 文 件 的 行 数 (Lines of Code，LOC )。 完 成 这 
项 任务 的 代码 如 下 : 











$ find source code dir path -type f -name "*.c" -print0 | xargs -0 wc -1 
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如 果 你 想 获 得 更 多 有 关 源 代码 的 统计 信息 ， 一 个 叫 作 sLOCCount 的 实用 工 
0 具 可 以 派 上 用 场 。 现代 GNU/Linux 发 行 版 一 般 都 包含 这 个 软件 包 , 或 者 你 也 可 以 
从 http:/www.dwheeler.com/sloccount/ 下 载 。 
4. 结合 stdin， 巧 妙 运用 while 语 句 和 子 shell 


xargs 会 将 参数 放置 在 指定 命令 的 尾部 ， 因 此 无 法 为 多 组 命令 提供 参数 。 我 们 可 以 通过 创建 
子 shell 来 处 理 这 种 复杂 情况 。 子 shell 利 用 while 循 环 读 取 参 数 并 执行 命令 ， 就 像 这 样 : 





$ cat files.txt | ( while read arg; do cat $arg done ) 
# 等 同 于 cat files.txt | xargs -I {} cat {} 


在 while 循 环 中 ， 可 以 将 cat $arg 蔡 换 成 任意 数量 的 命令 ， 这 样 我 们 就 可 以 对 同一 个 参数 
执行 多 条 命令 。 也 可 以 不 借助 管道 将 输出 传递 给 其 他 命令 。 这 种 利用 () 创建 子 shell 的 技巧 可 以 应 
用 于 各 种 问题 场景 。 子 shell 操 作 符 内 部 的 多 条 命令 在 执行 时 就 像 一 个 整体 ， 因 此 : 

$ cmd0 | ( cmdl;cmd2;cmd3) | cmd4 

如 果 cmqa1 是 ca /， 那 么 就 会 改变 子 shell 工 作 目 录 ， 然 而 这 种 改变 仅 局 限于 该 子 shell 内 部 。 
cm94 则 不 受 工作 目录 变化 的 影响 。 

shell 的 -c 选 项 可 以 调用 子 shell 来 执行 命令 行 脚本 。 它 可 以 与 xargs 结 合 解决 多 次 赫 换 的 问 
题 。 下 列 命令 找 出 了 所 有 的 C 文 件 并 显示 出 每 个 文件 的 名 字 , 文件 名 前 会 加 上 一 个 换行 符 ( -e 选 
项 允许 进行 转 义 替换 )。 在 文件 名 之 后 是 该 文件 中 含有 main 的 所 有 行 : 









































find . -name '*.c' | xargs -I ^ sh -c "echo -ne '\n ^: '; grep main ^" 


2.6 用 tr 进行 转换 


tr 是 Unix 命 令 行 专家 工具 箱 中 的 一 件 万 能 工具 。 它 可 用 于 编写 优雅 的 单行 命令 。tr 可 以 对 
来 自 标 准 输入 的 内 容 进行 字符 替换 、 字 符 删 除 以 及 重复 字符 压缩 。tr 是 translate ( 转换 ) 的 简写 ， 
因为 它 可 以 将 一 组 字符 转换 成 男 一 组 字符 。 在 这 则 攻略 中 , 我 们 会 看 到 如 何 使 用 tr 进行 基本 的 集 
合 转 换 。 























2.6.1 预备 知识 
tr 只 能 通过 stain (标准 输入 ) 接收 输入 (无 法 通过 命令 行 参数 接收 )。 其 调用 格式 如 下 : 
tr [options] set1l set2 


来 自 stdin 的 输入 字符 会 按照 位 置 从 set1 映 射 到 set2 (set1 中 的 第 一 个 字符 映射 到 set2 
中 的 第 一 个 字符 ， 以 此 类 推 )， 然 后 将 输出 写 人 stdout (标准 输出 )。set1 和 set2 是 字符 类 或 字 
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符 组 。 如 果 两 个 字符 组 的 长 度 不 相等 ， 那 么 set2 会 不 断 复制 其 最 后 一 个 字符 ， 直 到 长 度 与 set1 
相同 。 如 果 set2 的 长 度 大 于 set1， 那 么 在 set2 中 超出 set1 长 度 的 那 部 分 字符 则 全 部 被 忽略 。 








2.6.2 ”实战 演练 
要 将 输入 中 的 字符 由 大 写 转 换 成 小 写 ， 可 以 使 用 下 面 的 命令 : 


$ echo "HELLO WHO IS THIS" | tr 'A-Z' 'a-2Zz' 
hello who is this 


'A-Z' 和 'a-z' 都 是 字符 组 。 我 们 可 以 按照 需要 追加 字符 或 字符 类 来 构造 自己 的 字符 组 。 


'ABD-}'、'aA.,'、'a-ce-x' 以 及 'a-c0-9' 等 均 是 合法 的 集合 。 定 义 集合 也 很 简单 ,不 
需要 书写 一 长 串 连 续 的 字符 序列 ， 只 需要 使 用 “起 始 字符 -终止 字符 ”这 种 格式 就 行 了 。 这 种 写 
法 也 可 以 和 其 他 字符 或 字符 类 结合 人 使用。 如果“ 起 始 字符 -终止 字符 ”不 是 有 效 的 连续 字符 序列 ， 
那么 它 就 会 被 视 为 含有 3 个 元 素 的 集合 (起 始 字符 、- 和 终止 字符 ),。 你 也 可 以 使 用 像 '\t'、'\n 
这 种 特殊 字符 或 其 他 ASCII 字 符 。 






































2.6.3 工作 原理 


在 tr 中 利用 集合 的 概念 , 可 以 轻松 地 将 字符 从 一 个 集合 映射 到 男 一 个 集合 中 。 下 面 来 看 一 个 
用 tr 进行 数字 加 密 和 解密 的 例子 : 


$ echo 12345 | tr '0-9' '9876543210' 
87654 # 已 加 密 

















$ echo 87654 | tr '9876543210' '0-9' 
12345 # 已 解密 


tr 命令 可 以 用 来 加 密 。ROT13 是 一 个 著名 的 加 密 算法 。 在 ROT13 算 法 中 ， 字 符 会 被 移动 13 
个 位 置 ， 因 此 文本 加 密 和 解密 都 使 用 同一 个 函数 : 











$ echo "tr came, tr saw, tr conquered." | tr 'a-ZzRA-2' 'n-za-mN-ZA-M' 
输出 如 下 : 

ge pnzr, ge fnj, ge pbadhrerq. 

对 加 密 后 的 密 文 再 次 使 用 同样 的 ROT13 函 数 ， 我 们 可 以 采用 : 

$ echo ge pnzr, ge fnj, ge pbadhrerq. | tr 'a-ZzA-Z' 'n-zZa-mN-ZA-M' 
输出 如 下 : 


tr came, tr saw, tr conquered. 
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tr 还 可 以 将 制 表 符 转 换 成 单个 空格 : 


$ tr '\t' ' ' < file.txt 








2.6.4 补充 内 容 

我 们 已 经 学 习 了 tr 的 一 些 基本 转换 ， 接 下 来 看 看 cr 还 能 玫 我 们 实现 的 其 他 功能 。 

1. 用 tr 删除 字符 

tr 有 一 个 选项 -a, 可 以 通过 指定 需要 被 删除 的 字符 集合 , 将 出 现在 stain 中 的 特定 字符 清 
除 掉 : 


$ cat file.txt | tr -dd '[set1]' 
# 只 使 用 set1， 不 使 用 set2 


例如 : 
$ echo "Hello 123 world 456" | tr -d '0-9' 
Hello world 
# 将 stdin 中 的 数字 删除 并 打印 删除 后 的 结果 
2. 字符 组 补 集 


我 们 可 以 利用 选项 -c 来 使 用 set1 的 补 集 。 下 面 的 命令 中 ，set2 是 可 选 的 : 























tr -c [set1] [set2] 

如 果 只 给 出 了 set1, 那么 tr 会 删除 所 有 不 在 set1 中 的 字符 。 如 果 也 给 出 了 set2, tr 会 将 不 
在 set1 中 的 字符 转换 成 set2 中 的 字符 。 如 果 使 用 了 -c 选 项 ，set1 和 set2 必 须 都 给 出 。 如 果 -c 
与 -d 选 项 同时 出 现 ， 你 只 能 使 用 set1， 其 他 所 有 的 字符 都 会 被 删除 。 

下 面 的 例子 会 从 输入 文本 中 删除 不 在 补 集中 的 所 有 字符 : 


$ echo hello 1 char 2 next 4 | tr -d -c '0-9 \n' 
124 


接 下 来 的 例子 会 将 不 在 set1i 中 的 字符 替换 成 空格 : 


$ echo hello 1 char 2 next 4 | tr -c '0-9' ' 
1 2 4 


3. 用 tr 压缩 字符 


tr 命令 能 够 完成 很 多 文本 处 理 任务 。 例如, 它 可 以 删除 字符 串 中 重复 出 现 的 字符 。 基 本 实现 
形式 如 下 : 
tr -s '[ 需 要 被 压缩 的 一 组 字符 ] ' 
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如 果 你 习惯 在 点 号 后 面 放置 两 个 空格 ,你 需要 在 不 删除 重复 字母 的 情况 下 去 掉 多 余 的 空格 : 





$ echo "GNU is not UNIX. Recursive right ?" | tr -s ' 
GNU is not UNIX. Recursive right ? 


tr 命令 还 可 以 用 来 删除 多 余 的 换行 符 : 


$ cat multi blanks.txt | tr -s '\n' 
line 1 
line 2 
line 3 
line 4 


上 面 的 例子 展示 了 如 何 使 用 tr 删除 多 余 的 '\n' 字 符 。 接 下 来 让 我 们 用 tr 以 一 种 巧妙 的 方式 
将 文件 中 的 数字 列表 进行 相 加 : 








Cat sum.txt 


$ 
二 
2 
3 
4 
5 


$ cat sum.txt | echo $[ $(tr '\n' '+' ) 0] 
5 


这 招 是 如 何 起 效 的 ? 


在 命令 中 ，tr 命 令 将 '\n' 替 换 成 了 '+' ,我们 因此 得 到 了 字符 串 1+2+3+. .5+， 但 是 在 字符 
串 的 尾部 多 了 一 个 操作 符 +。 为 了 抵消 这 个 多 出 来 的 操作 符 ， 我 们 再 追加 一 个 0。 


s[ operation ] 执 行 算术 运算 ， 因 此 就 形成 了 以 下 命令 : 
echo $[ 1+2+3+4+5+0 ] 


如 果 我 们 利用 循环 从 文件 中 读 取 数字 ,然后 再 进行 相 加 ,， 那 肯定 得 用 几 行 代码 。 有 了 tr， 只 
用 一 行 就 搞定 了 。 


如 果 有 一 个 包含 字母 和 数字 的 文件 ， 我 们 想 计 算 其 中 的 数字 之 和 ， 这 需要 更 强 的 技巧 性 : 


$ cat test.txt 


















































first 1 

second 2 

third 3 

利用 tr 的 -gd 选项 删除 文件 中 的 字母 ， 然 后 将 空格 蔡 换 成 +: 

$ cat test.txt | tr -d [a-z] | echo "total: $[$(tr ' ' +')]" 


total: 6 
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4. 子 付 

tr 可 以 将 不 同 的 字符 类 作为 集合 使 用 ， 所 支持 的 字符 类 如 下 所 示 。 
口 alnum: 字母 和 数字 。 

口 alpha: 字母 。 

口 cntrl; 控制 ( 非 打 印 ) 字符 。 
D aigit: 数字 。 

口 graph: 图 形 字 符 。 

口 lower: 小 写字 母 。 

D print: 可 打印 字符 。 

口 bunct : 标点 符号 。 

口 space: 空白 字符 。 

口 upper: 大 写字 母 。 

D xdigit: 十 六 进 制 字符 。 


可 以 按照 下 面 的 方式 选择 所 需 的 字符 类 
tr [:class:] [:class:] 
例如 : 


tr '[:lower:]' '[:upper:]' 


2.7 校 验 和 与 核实 


校 验 和 ( checksum ) 程 序 用 来 从 文件 中 生成 相对 较 小 的 唯一 密 钥 。 我 们 可 以 重新 计算 该 密 钥 ， 
用 以 检查 文件 是 否 发 生 改 变 。 修 改 文件 可 能 是 有 意 为 之 ( 添加 新 用 户 会 改变 密码 文件 )， 也 可 能 
是 无 意 而 为 (从 CD-ROM 中 读 取 到 了 错误 数据 ), 还 可 能 是 恶意 行为 (插入 病毒 )。 校 验 和 能 够 让 
我 们 核实 文件 中 所 包含 的 数据 是 否 和 预期 的 一 样 。 

备份 应 用 使 用 校 验 和 检查 文件 是 否 被 修改 ， 进 而 作出 备份 。 

绝 大 多 数 软 件 发 行 版 都 包含 了 一 个 校 验 和 文件 。 即便 是 像 TCP 这 样 强健 的 协议 也 无 法 避免 文 
件 在 传输 途中 被 修改 。 因此 , 我 们 需要 进行 测试 , 确定 所 接受 到 的 文件 是 否 和 原始 文件 一 模 一 样 。 
通过 比 对 下 载 文件 和 原始 文件 的 校 验 和 , 就 能 够 核实 接收 到 的 文件 是 否 正确 。 如 果 源 位 置 上 的 
原始 文件 的 校 验 和 与 目的 地 上 接收 文件 的 校 验 和 相等 ， 就 意味 着 我 们 接收 到 的 文件 没有 问题 。 

有 些 系统 维护 了 重要 文件 的 校 验 和 。 如 果 恶 意 软件 修改 了 其 中 的 某 些 文件 , 我 们 就 可 以 通过 
发 生变 化 的 校 验 和 发 现 这 一 情况 。 


在 这 则 攻略 中 ， 我 们 将 学 习 如 何 计算 校 验 和 来 验证 数据 完整 性 。 
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2.7.1 预备 知识 








Unix 和 Linux 支 持 多 种 校 验 和 程序 ， 但 强健 性 最 好 且 使 用 最 为 广泛 的 校 验 和 算法 是 MD5 和 


SHA-1。md5sum 和 shalsum 程 序 可 以 x 





数据 应 用 对 应 的 算法 来 生成 校 验 和 。 下 面 就 来 看 看 如 何 从 





文件 中 生成 校 验 和 并 核实 该 文件 的 完整 性 。 


2.7.2 ”实战 演练 
使 用 下 列 命令 计算 md5sum: 


$ md5sum filename 





68b329da9893e34099c7d8ad5cb9c940 filename 


如 上 所 示 ，mq5sum 是 一 个 长 度 为 32 个 字符 的 十 六 进 制 串 。 

















我 们 可 以 将 输出 的 校 验 和 重 定向 到 一 个 文件 中 ， 以 备 后 用 : 





$ md5sum filename > file sum.md5 


2.7.3 工作 原理 
md5sum 校 验 和 计算 的 方法 如 下 ; 


$ md5sum filel file2 file3 .. 


当 使 用 多 个 文件 时 ， 输 出 中 会 在 每 行 中 包含 单个 文件 的 校 验 和 : 


[checksum1l] filel 
[checksum1l] file2 
[checksum1] file3 





可 以 按照 下 面 的 方法 用 生成 的 文件 核实 数据 完整 性 : 


$ md5sum -c file sum.md5 


# 这 个 命令 会 输出 校 验 和 是 否 匹 配 的 信息 





如 果 需 要 用 所 有 的 .ma5 信 息 来 检查 所 有 的 文件 ， 可 以 这 样 : 


$ md5sum -c *.md5 

















SHA-1 是 另 一 种 常用 的 校 验 和 算法 。 它 从 给 定 的 输入 中 生成 一 个 长 度 为 40 个 字符 的 十 六 进 制 























串 。 用 来 计算 SAH-1 校 验 和 的 命令 是 shalsum， 其 用 法 和 ma5sum 的 类 似 。 只 需要 把 先前 讲 过 的 


那些 命令 中 的 mda5sum 改 成 shalsum 训 


校 验 和 有 助 于 核实 下 载 文 件 的 完 


i 行 了 , 记 住 将 输出 文件 名 从 file_sum.md5 改 为 file sum.shal 。 


整 性 。ISO 镜 像 文件 通常 容易 出 现 错误 〈 见 图 2-1 )。 一 小 点 














错误 就 会 导致 ISO 无 法 读 取 ， 甚 至 更 糟糕 的 是 会 影响 所 安装 的 应 用 程序 的 正常 运行 。 大 多 数 文件 
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仓库 中 都 包含 一 个 md5 或 shal 文 件 ， 可 用 于 验证 下 载 文件 是 否 正确 。 
































IHD5SUIIS 2016-10-13 11:00 -256 
HDS5SUNS -metalink aDLGE-TD2T3 03753., :576 
ND5SUNS -metalink .gpg 2016-10-13 09:53 -933 
HDS5SUNS .gpg 2016-10-13 11:00 933 
SHA1SUIIS 2016-10-13 11:00 -288 
SHA1LSUIIS .gpg 本 几 二 在 二 下 区 = 二 1 人 D 与 3 
SHA256SUNMS 2016-10-13 11:00 -384 
SHA256SUNS .gpg 2016-10-13 11:00 933 
ubuntu-16.10-desktop-amd64 .iso 2016-10-12 21:28 1.5G Deaktol 
= 
图 2-1 
下 面 是 文件 的 MD5 校 验 和 : 


3f50877c05121f7fd8544bef2d722824 *ubuntu-16.10-desktop-amd64.iso 
e9e9a6c6b3c8c265788f4e726af25994 *ubuntu-16.10-desktop-i386.iso 
7d6de832aee348bacc894f0a2ab1170d *ubuntu-16.10-server-amd64.iso 
e532cfbc738876b353c7c9943d872606 *ubuntu-16.10-server-i386.iso 


2.7.4 补充 内 容 

对 于 多 个 文件 ， 校 验 和 同样 可 以 发 挥 作 用 。 现 在 就 看 看 如 何 校 验 并 核实 一 组 文件 。 

对 目录 进行 校 验 

校 验 和 是 从 文件 中 计算 得 来 的 。 对 目录 计算 校 验 和 意味 着 需要 对 目录 中 的 所 有 文件 以 递归 的 
方式 进行 计算 。 

mdq5qeep 或 shaldqeep 命 令 可 以 遍历 目录 树 ， 计 算 其 中 所 有 文件 的 校 验 和 。 你 的 系统 中 可 能 
并 没有 安装 这 两 个 程序 。 可 以 使 用 apt-get 或 yum 来 安装 md5deep 软 件 包 。 该 命令 的 用 法 如 下 : 














$ md5deep -rl directory path > directory.md5 

# -r 使 用 递归 遍历 

# -1 使 用 相对 路 径 。 默 认 情 况 下 ，mqd5deep 会 输出 文件 的 绝对 路 径 
其 中 ，-z 选 项 允许 ma5dqeep 递 归 遍 历 子 目录 。-1 选 项 允许 显示 相对 路 径 ， 不 再 使 用 默认 的 绝对 
路 径 。 


或 者 也 可 以 结合 finq 来 递归 计算 校 验 和 : 























$ find directory _ path -type f -print0 | xargs -0 md5sum >> directory.md5 
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用 下 面 的 命令 进行 核实 : 
$ md5sum -c directory.md5 


口 md5 与 SHA-1 都 是 单 向 散 列 算法 , 均 无 法 逆 推 出 原始 数据 。 两 者 通常 用 于 为 特定 数据 生成 
唯一 的 密 钥 : 
$ md5sum file 
8503063d5488c3080d4800ff50850dc9 file 


$ shalsum file 
lba02b66e2e557fede8f£f61b7df282cd0a27b816b file 


这 种 类 型 的 散 列 算法 多 用 于 存储 密码 。 密码 只 存储 其 对 应 散 列 值 。 如 果 需 要 认证 某 个 用 户 ， 
则 读 取 该 用 户 提 供 的 密码 并 转换 成 散 列 值 , 然后 与 之 前 存储 的 散 列 值 进行 比 对 。 如果 相同 ， 
用 户 则 通过 认证 并 授权 访问 。 将 密码 以 明文 形式 存储 是 非常 冒险 的 ， 且 存在 安全 隐患 。 







































































尽管 应 用 广泛 ，md5sum 和 SHA-1 已 不 再 安全 ， 因 为 近年 来 计算 能 力 的 攀升 
0 使 其 变 得 容易 被 破解 。 推 荐 使 用 bcrypt 或 sha512sum 这 类 工具 进行 加 密 。 更 多 
信息 可 参看 http://codahale.com/how-to-saftyly- store-a-password/。 
口 shadow-like 散 列 ( 加 盐 散 列 ) 


让 我 们 看 看 如 何 为 密码 生成 shadow-like 加 盐 散 列 ( salted hash )。 在 Linux 中 ， 用 户 密码 是 
以 散 列 值 形式 存储 在 文件 /etc/shadow 中 的 。 该 文件 中 典型 的 一 行内 容 类 似 于 下 面 这 样 : 
test:$6$fG4eWdUiSohTKO1LEUzNk77 .4S8MrYe07NTRV4M3LrUn2ZP9Pp .qclbR5c. 
ECcOruzPXfEululoBFUa1lL8ENRH7F70zhodas3cR. :14790:0:99999:7::: 

该 行 中 的 s6stG4ewadqUisohTKO1LEUzNk77 .4S8MrYe07NTRV4M3LrJnZP9pb .qc1bR5c . 
EcOruzPXfEululoBFUal8ENRH7F70zhodas3cR 是 密码 对 应 的 散 列 值 。 


有 了 时候 ,我们 编写 的 一 些 脚 本 需要 编辑 密码 或 是 添加 用 户 。 在 这 种 情况 下 ， 我 们 必须 生 
成 shadow 密 码 字 符 串 ， 向 shadow 文 件 中 写 人 类 似 于 上 面 的 文本 行 。 可 以 使 用 openss1 来 
生成 shadow 密 码 。 


shadow 密 码 通常 都 是 加 盐 密 码 ( salted password )。 所 谓 的 “ 盐 ”( SALT ) 就 是 一 个 额外 的 
字符 串 ， 起 混淆 的 作用 ， 使 加 密 更 加 难以 破解 。 盐 是 由 一 些 随机 位 组 成 的 ， 它 们 作为 密 
钥 生 成 函数 的 输入 之 一 , 产生 密码 的 加 盐 散 列 。 
关于 盐 的 更 多 细节 信息 ， 请 参考 维基 百科 页 面 http://en. wikipedia.org/ 
wiki/Salt (cryptography)。 












































$ openssl passwd -1 -salt SALT STRING PASSWORD 
$1$SALT STRING$323VKWkKSLHuhbt1zkSsUG. 


将 SALT_STRING 替 换 为 随机 字符 串 并 将 PAsswoRD 蔡 换 成 你 想 要 使 用 的 密码 。 
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2.8 加 密 工 具 与 散 列 


加 密 技 术 主 要 用 于 防止 数据 遭受 未 经 授权 的 访问 。 和 上 面 讲 的 校 验 和 算法 不 同 , 加 密 算法 可 
以 无 损 地 重 构 原 始 数据 。 可 用 的 加 密 算 法 有 很 多 ， 我 们 将 讨论 Linux/Unix 中 最 常用 到 的 那些 。 























实战 演练 
让 我 们 看 看 crypt 、gpg 以 及 base64 的 用 法 。 
口 crypt 命 令 通 常 并 没有 安装 在 Linux 系 统 中 。 它 是 一 个 简单 的 加 密 工 具 ， 相 对 而 言 不 是 那 
么 安全 。 该 命令 从 stqin 接 受 输入 , 要 求 用 户 创建 口令 , 然后 将 加 密 数 据 输出 到 stdqout: 


$ crypt <input file >output file 
Enter passphrase: 


我 们 在 命令 行 上 提供 口令 : 

$ crypt PASSPHRASE <input file >encrypted file 

如 果 需 要 解密 文件 ， 可 以 使 用 : 

$ crypt PASSPHRASE -d <encrypted file >output file 


口 gpg( GNU privacy guard，GNU 隐 私 保护 ) 是 一 种 应 用 广泛 的 工具 , 它 使 用 加 密 技术 来 保 
护 文 件 ， 以 确保 数据 在 送 达 目 的 地 之 前 无 法 被 读 取 。 























0 gpg 签 名 同样 广泛 用 于 E-mail 通信 中 的 邮件 “签名 ”, 以 证 明 发 送 方 的 真实 性 。 
用 gpg 加 密 文件 : 


$ gpg -c filename 


命令 会 采用 交互 方式 读 取 口 令 并 生成 filename.gpg。 使 用 以 下 命令 解密 gpg 文 件 : 








$ gpg filename.gpg 


上 述 命 令 读 取 口令 并 解密 文件 。 


本 书 并 没有 涉及 gpg 的 过 多 细节 。 如 果 你 感 兴趣 ， 希望 进一步 了 解 ， 请 访问 
http://en.wikipedia.org/wik/GNU _ Privacy Guard。 


口 Base64 是 一 组 相似 的 编码 方案 ， 它 将 二 进 制 数据 转换 成 以 64 为 基数 的 形式 ( radix-64 
representation )， 以 可 读 的 ASCI 字 符 串 进行 描述 。 这 类 编码 程序 可 用 于 通过 E-mail 传 输 二 
进 制 数据 。base64 命 令 能 够 编码 /解码 Base64 字 符 串 。 要 将 文件 编码 为 Base64 格 式 ， 可 以 
使 用 : 
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$ base64 filename > outputfile 
或 者 

$ cat file | base64 > outputfile 
base64 命 令 可 以 从 stain 中 读 取 。 
解码 Base64 数 据 : 

$ base64 -d file > outputfile 
或 者 


$ cat base64 file | base64 -d > outputfile 


2.9 行 排序 


对 文本 文件 进行 排序 是 一 项 常见 的 任务 。sort 命 令 能 够 对 文本 文件 和 stain 进 行 排序 。 它 可 
以 配合 其 他 命令 来 生成 所 需要 的 输出 。uniq 经 党 与 sort 一 同 使 用 , 提取 不 重复 (或 重复 ) 的 行 。 
这 则 攻略 将 演示 sort 和 unig 命 令 的 常见 用 法 。 





2.9.1 预备 知识 
sort 和 unig 命 令 可 以 从 特定 的 文件 或 stain 中 获取 输入 ， 并 将 输出 写 人 stdout。 


2.9.2 ”实战 演练 

(1) 可 以 按照 下 面 的 方式 排序 一 组 文件 ( 例如 filel.txt 和 file2.txt ): 
$ sort filel.txt file2.txt > sorted.txt 
或 是 
$ sort filel.txt file2.txt -o sorted.txt 

(2) 按照 数字 顺序 排序 : 
$ sort -n file.txt 

(3) 按照 逆序 排序 : 
$ sort -r file.txt 

(4) 按照 月 份 排序 ( 依照 一 月 、 二 月 、 三 月 …… ): 


$ sort -M months.txt 
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(5) 合并 两 个 已 排序 过 的 文件 : 
$ sort -m sortedl sorted2 
(6) 找 出 已 排序 文件 中 不 重复 的 行 : 
$ sort filel.txt file2.txt | unig 


(7) 检查 文件 是 否 已 经 排序 过 : 




















#!/bin/bash 
# 功 能 描述 : 排序 
sort -C filename ; 
if [iS?2 ~e0 0 "eo then 
echo Sorted; 
else 
echo Unsorted; 











在 


将 filename 替 换 成 你 需要 检查 的 文件 名 ， 然后 运行 该 脚本 。 





2.9.3 工作 原理 


sort 命 令 包含 大 量 的 选项 ， 能 够 对 文件 数据 进行 各 种 排序 。 如 果 使 用 uniq 命 令 , 那 sort 更 
是 必 不 可 少 ， 因 为 前 者 要 求 输入 数据 必须 经 过 排序 。 


sort 和 unia 可 以 应 用 于 多 种 场景 。 让 我 们 来 看 一 下 这 些 命令 的 各 种 选项 及 用 法 。 


要 检查 文件 是 否 排序 过 ， 可 以 利用 以 下 事实 : 如 果 文 件 已 经 排序 ，sort 会 返回 为 0 的 退出 码 
($? )， 和 否则 返回 非 0。 






































if sort -c fileToCheck ; then echo sorted ; else echo unsorted ; fi 


2.9.4 补充 内 容 
我 们 已 经 介绍 了 sort 命 令 的 基本 用 法 。 下 面 来 看 看 如 何 利 用 sort 来 完成 一 些 复杂 的 任务 。 
1. 依据 键 或 列 排序 
如 果 输 入 数据 的 格式 如 下 ， 我 们 可 以 按 列 排序 : 





$ cat data.txt 
1 mac 2000 
2 winxp 4000 
3 bsd 1000 
4 linux 1000 











有 很 多 方法 可 以 对 这 段 文 本 排序 。 目 前 它 是 按照 序号 (第 一 列 ) 来 排序 的 。 我 们 也 可 以 依据 
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第 二 列 和 第 三 列 来 排序 。 


-k 指 定 了 排序 所 依据 的 字符 。 如 果 是 单个 数字 ， 则 指 的 是 列 号 。-r 告 诉 sort 命 令 按 照 逆 序 
进行 排序 。 例 如 : 


# 
$ 
4 
3 
2 
1 
# 


# 
$ 
3 
4 
1 
2 


0 和 数字 排序 有 不 同 的 处 理 方式 。 因此， 如果 要 采用 数字 顺序 排序 ,就 应 该 明确 地 


























依据 第 1 列 ， 以 逆序 形式 排序 

sort -nrk 1 data.txt 

linux 1000 

bsd 1000 

winxp 4000 

mac 2000 

-nr 表明 按照 数字 顺序 ,采用 逆序 形式 排序 


依据 第 2 列 进行 排序 

sort -k 2 data.txt 
bsd 1000 

linux 1000 

mac 2000 

winxp 4000 


一 定 要 留意 用 于 按 数字 顺序 进行 排序 的 选项 -n。sort 命 令 对 于 字母 表 排 序 


给 出 -n 选 项 。 














-k 后 的 整数 指定 了 文本 文件 中 的 某 一 列 。 列 与 列 之 间 由 空格 分 隔 。 如果 需要 将 特定 范围 内 的 
一 组 字符 (例如 ,第 2 列 中 的 第 4~5 个 字符 ) 作为 键 ， 应 该 使 用 由 点 号 分 隔 的 两 个 整数 来 定义 一 个 
字符 位 置 ， 然 后 将 该 范围 内 的 第 一 个 字符 和 最 后 一 个 字符 用 逗号 连接 起 来 : 


$ 


DPOWVODP 





cat data.txt 


alpha 300 
beta 200 
gamma 100 
sort -bk 2.3,2.4 data.txt ; # 按照 m、P、 七 的 顺序 排序 
gamma 100 
alpha 300 
beta 200 








把 作为 排序 依据 的 字符 写成 数值 键 。 为 了 提取 出 这 些 字符 , 用 其 在 行内 的 起 止 位 置 作为 键 的 
书写 格式 (在 上 面 的 例子 中 ， 起 止 位 置 是 2 和 3 )。 


用 第 一 个 字符 作为 键 : 


$ 











sort -nk 1,1 data.txt 


为 了 使 sort 的 输出 与 以 \0 作 为 终止 符 的 xargs 命 令 相 兼容 ， 采 用 下 面 的 命令 : 


$ Sort -z data.txt | xargs -0 


# 终止 符 \0 用 来 确保 安全 地 使 用 kargs 命 令 
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有 时 文本 中 可 能 会 包含 一 些 像 空格 之 类 的 多 余 字 符 。 如 果 需 要 忽略 标点 符号 并 以 字典 序 排 
序 ， 可 以 使 用 : 
$ sort -bd unsorted.txt 


其 中 ， 选 项 -bp 用 于 忽略 文件 中 的 前 导 空白 行 ， 选 项 -Gd 用 于 指明 以 字典 序 进行 排序 。 








2. uniq 

unig 命 令 可 以 从 给 定 输入 中 (stain 或 命令 行 参 数 指定 的 文件 ) 找 出 唯一 的 行 , 报告 或 删除 
那些 重复 的 行 。 

unig 只 能 作用 于 排 过 序 的 数据 ， 因 此 ，unia 通 常 都 与 sort 命 令 结合 使 用 。 


你 可 以 按照 下 面 的 方式 生成 唯一 的 行 ( 打印 输入 中 的 所 有 行 ， 但 是 其 中 重复 的 行 只 打印 
二 次 


























$ cat sorted.txt 
bash 
foss 
hack 
hack 


$ uniq sorted.txt 
bash 
foss 
hack 





$ sort unsorted.txt | uniq 


只 显示 唯一 的 行 ( 在 输入 文件 中 没有 重复 出 现 过 的 行 ): 

















$ uniq -u sorted.txt 

















或 是 
$ sort unsorted.txt | uniq -u 
要 统计 各 行 在 文件 中 出 现 的 次 数 ， 使 用 下 面 的 命令 : 


$ sort unsorted.txt | uniq -c 
1 bash 
1 foss 
2 hack 


找 出 文件 中 重复 的 行 : 
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$ sort unsorted.txt | uniq -d 
hack 


我 们 可 以 结合 -se 和 -w 选 项 来 指定 键 : 





口 -s 指定 跳 过 前 N 个 字符; 














口 -w 指定 用 于 比较 的 最 大 字符 数 。 





这 个 对 比 键 可 以 作为 unia 操 作 时 的 索引 : 


01:gnu 


PR PRE 


cat data.txt 


04:1inux 
01:bash 
01:hack 





为 了 只 测试 指定 的 字符 ( 忽略 前 两 个 字符 ， 使 用 接 下 来 的 两 个 字符 )， 我 们 使 用 -s 2 跳 过 前 
两 个 字符 ， 使 用 -w 2 选项 指定 后 续 的 两 个 字符 : 





$ sort data.txt | uniq -s 2 -w 2 

d:04:1inux 

u:01:bash 

我 们 将 命令 输出 作为 xargs 命 令 的 输入 时 ， 最 好 为 输出 的 各 行 添 加 一 个 0 值 字 节 (zero-byte ) 
终止 符 。 使 用 unia 命 令 的 输入 作为 xargs 的 数据 源 时 ， 同 样 应 当 如 此 。 如 果 没有 使 用 0 值 字 节 终 





止 符 ， 那 么 在 








耻 认 情况 下 ，xargs 命 令 会 用 空格 来 分 割 参 数 。 例 如 ， 来自 stain 的 文本 行 “this is 








a line” 会 被 xa 


rgs 视 为 4 个 不 同 的 参数 。 如 果 使 用 0 值 字 节 终止 符 , 那么 \0 就 被 作为 定 界 符 , 此 时 ， 


包含 空格 的 行 就 能 够 被 正确 地 解析 为 单个 参数 。 
-z 选 项 可 以 生成 由 0 值 字 节 终 止 的 输出 : 
$ uniq -z file.txt 


下 面 的 命令 将 删除 所 有 指定 的 文件 ， 这 些 文件 的 名 字 是 从 files.txt 中 读 取 的 : 


$ uniq -z file.txt | xargs -0 rm 


如 果 某 个 文件 名 出 现 多 次 ，unia 命 令 只 会 将 这 个 文件 名 写 人 stdout 一 次 ， 这 样 就 可 以 避免 


出 现 rm: cannot remove FILENAME: No such file or directory。 








2.10 ”临时 文件 命名 与 随机 数 


shell 脚 本 经 常 需要 存储 临时 数据 。 最 适合 存储 临时 数据 的 位 置 是 /tmp ( 该 目录 中 的 内 容 在 系 
统 重启 后 会 被 清空 )。 有 两 种 方法 可 以 为 临时 数据 生成 标准 的 文件 名 。 








2.11 分割 文 件 与 数据 2 





2.10.1 ”实战 演练 
mktemp 命 令 可 以 为 临时 文件 或 目录 创建 唯一 的 名 字 。 
(D 创建 临时 文件 : 





$ filename= mktemp. 
$ echo $filename 
/tmp/tmp.8xvhkjF5fH 


上 面 的 代码 创建 了 一 个 临时 文件 ， 然 后 打印 出 保存 在 变量 filename 中 的 文件 名 。 
(2) 创建 临时 目录 : 





$ dirname= mktemp -d. 
$ echo $dirname 
tmp .NI8xzW7VRX 


上 面 的 代码 创建 了 一 个 临时 目录 ， 然 后 打印 出 保存 在 变量 airname 中 的 目录 名 。 
口 如 果 仅 仅 是 想 生 成 文件 名 ， 不 希望 创建 实际 的 文件 或 目录 ， 可 以 这 样 : 

















$ tmpfile= mktemp -U-` 
$ echo S$Stmpfile 
/tmp/tmp.RsGmilRpcT 


文件 名 被 存储 在 Stmpfile 中 ， 但 并 没有 创建 对 应 的 文件 。 
口 基于 模板 创建 临时 文件 名 : 


$mktemp test .XXX 
test.2tc 





2.10.2 ”工作 原理 

mktemp 命 令 的 用 法 非常 简单 。 它 生成 一 个 具有 唯一 名 称 的 文件 并 返回 该 文件 名 ( 如 果 创 建 
的 是 目录 ， 则 返回 目录 名 )。 
如 果 提 供 了 定制 模板 ，x 会 被 随机 的 字符 ( 字母 或 数字 ) 替换 。 注 意 ,mktemp 正 常 工作 的 前 
提 是 保证 模板 中 至 少 要 有 3 个 Xx。 


















































2.11 分割 文件 与 数据 


有 时 候 必须 把 文件 分 割 成 多 个 更 小 的 片段 。 很 久 以 前 , 我 们 必须 分 割 文 件 ,才能 将 大 量 数据 
放 入 多 张 软盘 中 。 不 过 如 今 我 们 分 割 文件 就 是 出 于 其 他 目的 了 ， 比 如 为 提高 可 读 性 、 生 成 日 志 以 
及 发 送 有 大 小 限制 的 E-mail 附件 。 在 这 则 攻略 中 我 们 会 看 到 如 何 将 文件 分 割 成 不 同 的 大 小 。 








E> 
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2.11.1 工作 原理 


split 命 令 可 以 用 来 分 割 文件 。 该 命令 接受 文件 名 作为 参数 ， 然 后 创建 出 一 系列 体积 更 小 的 
文件 , 其 中 依据 字母 序 排 在 首位 的 那个 文件 对 应 于 原始 文件 的 第 一 部 分 , 排 在 次 位 的 文件 对 应 于 
原始 文件 的 第 二 部 分 ， 以 此 类 推 。 


例如 , 通过 指定 分 割 大 小 , 可 以 将 100KB 的 文件 分 成 一 系列 10KB 的 小 文件 。 在 split 命 令 中 ， 
除了 k 我 们 还 可 以 使 用 Mm (MB )、G (GB )、c (byte ) 和 w (word )。 

















$ split -b 10k data.file 

$ 1s 

data.file xaa xab xac xad xae xaf xag xah xai xaj 

上 面 的 命令 将 data.file 分 割 成 了 10 个 大 小 为 10KB 的 文件 。 这 些 新 文件 以 xab、xac、xad 的 形 
式 命名 。split 默 认 使 用 字母 后 级 。 如 果 想 使 用 数字 后 级， 需要 使 用 -选项 。 此 外 ，-a length 
可 以 指定 后 缀 长度: 


$ split -b 10k data.file -d -a 4 











$ 1s 
data.file x0009 x0019 x0029 x0039 x0049 x0059 x0069 x0079 


2.11.2 ”补充 内 容 
来 看 看 sp1it 命 令 的 其 他 选项 。 
为 分 割 后 的 文件 指定 文件 名 前 组 
之 前 那些 分 割 后 的 文件 名 都 是 以 x 作为 前 级 。 如 果 要 分 割 的 文件 不 止 一 个 ,我们 自然 希望 能 
命名 这 些 分 割 后 的 文件 , 这 样 才能 够 知道 这 些 文件 分 别 属于 哪个 原始 文件 。 这 可 以 通过 提供 
一 个 前 级 作为 最 后 一 个 参数 来 实现 。 
这 次 我 们 使 用 split_file 作 为 文件 名 前 缀 ， 重 新 执行 上 一 条 命令 


$ split -b 10k data.file -d -a 4 split file 

$ 1s 

data.file split_ file0002 split file0005 split file0008 
strtok.c 

split file0000 split file0003 split file0006 split file0009 
split filje0001 split file0004 split file0007 


如 果 不 想 按照 数据 块 大 小 ， 而 是 根据 行 数 来 分 割 文件 的 话 ， 可 以 使 用 -1 no_of_lines: 


# 分 割 成 多 个 文件 ， 每 个 文件 包含 10 行 
$ split -1 10 data.file 


csplit 实 用 工具 能 够 基于 上 下 文 来 分 隔 文 件 。 它 依据 的 是 行 计数 或 正则 表达 式 。 这 个 工具 



























































2.11 分 割 文件 与 数据 79 





对 于 日 志文 件 分 割 尤 为 有 用 。 
看 一 个 日 志文 件 示例 : 


$ cat server.log 
SERVER-1 


[connection] 192.168.0.1 success 
[connection] 192.168.0.2 failed 

[disconnect] 192.168.0.3 pending 
[connection] 192.168.0.4 success 
SERVER-2 

[connection] 192.168.0.1 failed 

[connection] 192.168.0.2 failed 

[disconnect] 192.168.0.3 success 
[connection] 192.168.0.4 failed 

SERVER-3 

[connection] 192.168.0.1 pending 
[connection] 192.168.0.2 pending 
[disconnect] 192.168.0.3 pending 
[connection] 192.168.0.4 failed 





我 们 需要 将 这 个 日 志文 件 分 割 成 server1.log 、server2.log 和 server3.log， 这 些 文件 的 内 容 分 别 
取 自 原文 件 中 不 同 的 SERVER 部 分 。 实 现 方 法 如 下 : 

$ csplit server.log /SERVER/ -n 2 -s {*} -f server -b "%02d.1log" 

$ rm SerVer00.1og 


$ 1s 
Server01.log server02.]log server03.1og server.log 


下 面 是 这 个 命令 的 详细 说 明 。 



















































































口 /SERVER/ 用 来 匹配 特定 行 ， 分割 过 程 即 从 此 处 开始 。 

口 / [REGEX] / 用 于 描述 文本 模式 。 它 从 当前 行 (第 一 行 ) 一 直 复 制 到 ( 但 不 包括 ) 包 含 SERVER 
的 匹配 行 。 

口 {*} 表示 根据 匹配 重复 执行 分 割 操作 , 直到 文件 末尾 为 止 。 可 以 用 {整数 } 的 形式 来 指定 分 
割 执行 的 次 数 。 

口 -s 使 命令 进入 静默 模式 ， 不 打印 其 他 信息 。 

口 -指定 分 割 后 的 文件 名 后 绥 的 数字 个 数 ， 例 如 01、02 、03 等 。 

口 -£ 指定 分 割 后 的 文件 名 前 级 (在 上 面 的 例子 中 ，server 就 是 前 缀 )。 

口 -b 指定 后 级 格式 。 例 如 %02G.1log， 类 似 于 C 语 言 中 printf 的 参数 格式 。 在 这 里 : 文件 


名 = 前缀 + 后 级， 也 就 是 server + %02d.1log。 


因为 分 割 后 得 到 的 第 一 个 文件 没有 任何 内 容 ( 匹配 的 单词 就 位 于 文件 的 第 一 行 中 )， 所 以 我 
们 删除 了 server00.log。 
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2.12 ”根据 扩展 名 切 分 文件 名 


很 多 shell 脚 本 都 涉及 修改 文件 名 的 操作 。 我 们 可 能 需要 在 保留 扩展 名 的 同时 修改 文件 名 、 转 
换文 件 格式 〈 保 留 文件 名 的 同时 修改 扩展 名 ) 或 提取 部 分 文件 名 。 


shell 所 具有 的 一 些 内 建功 能 允许 我 们 进行 文件 名 相关 的 处 理 。 








2.12.1 ”实战 演练 


借助 $ 操 作 符 可 以 从 name.extension 这 种 格式 中 提取 name 部 分 (文件 名 )。 下 面 的 例子 从 
sample.jpg 中 提取 了 sample: 





file_jpg="sample.jpg" 
name=$ {file_ jpg%$.*} 
echo File name is: Sname 


输出 结果 : 





File name is: Sample 
# 操 作 符 可 以 提取 出 扩展 名 。 
提取 文件 名 中 的 .jpg 并 存储 到 变量 file_jpg 中 


extension=${file_ jpg#*.} 
echo Extension is: jpg 


输出 结果 : 


Extension is: jpg 





2.12.2 ”工作 原理 
在 第 一 个 例子 中 ,我们 使 用 了 gs 操 作 符 从 形 如 name.extension 的 格式 中 提取 出 了 文件 名 。 


$ {VARS .*} 的 含义 如 下 。 


口 从 svAR 中 删除 位 于 $ 右 侧 的 通配符 (在 上 例 中 是 .* ) 所 匹配 的 字符 串 。 通 配 符 从 右 向 左 进 

行 匹配 。 

口 给 VAR 赋值 ， 即 VAR=sample .jpg。 通配符 从 右 向 左 匹 配 到 的 内 容 是 jpg， 因 此 从 $vaR 中 
删除 匹配 结果 ， 得 到 输出 sa pleo 

属于 非 贪 焚 ( non-greedy ) 操作 。 它 从 右 向 左 找 出 匹配 通配符 的 最 短 结果 。 还 有 男 一 个 操作 

符 8%， 它 与 $ 相 似 ， 但 行为 模式 却 是 贪 禁 的 ， 这 意味 着 它 会 匹配 符合 通配符 的 最 长 结果 。 例 如 ， 

我 们 现在 有 这 样 一 个 文件 : 
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VAR=hack.fun.book.txt 
使 用 s 操 作 符 从 右 向 左 执行 非 贪 禁 匹配， 得 到 匹配 结果 .txt: 


$ echo ${VAR%.*} 








命令 输出 : hack. fun.book。 


使 用 ss 操作 符 从 右 向 左 执行 贪 焚 匹 配 ， 得 到 匹配 结果 . fun .book .txt: 


$ echo ${VAR%%.*} 








命令 输出 : hacko 
# 操 作 符 可 以 从 文件 名 中 提取 扩展 名 。 这 个 操作 符 与 类 似 ， 不 过 求 值 方向 是 从 左 向 右 。 
$ {VAR#*.} 的 含义 如 下 : 


从 svARIABLE 中 删除 位 于 # 右 侧 的 通配符 ( 即 在 上 例 中 使 用 的 *. ) 从 左 向 右 所 匹配 到 的 字 
符 串 。 


和 ss 类 似 ，# 也 有 一 个 对 应 的 食材 操 作 符 ##。 

## 从 左 向 右 进行 贪 禁 匹 配 ， 并 从 指定 变量 中 删除 匹配 结果 。 来 看 一 个 例子 : 
VRAR=hack .fun.book .txt 

使 用 # 操 作 符 从 左 向 右 执行 非 仿 棕 匹配 ， 得 到 匹配 结果 hack: 


$ echo ${VAR#*.} 

















= 





命令 输出 : fun.book.txt。 


使 用 ## 操 作 符 从 左 向 右 执行 贪 禁 匹配 ， 得 到 匹配 结果 hack. fun .book: 
$ echo ${VAR##*.} 


命令 输出 2 








个 .字符 ， 
扩展 名 。## 执 行 的 是 贪 禁 匹配 ， 因 而 总 是 能 够 准确 地 提取 出 扩展 名 。 
这 里 有 个 能 够 提取 域名 中 不 同 部 分 的 实例 。 假 定 URL 为 www.google.com: 


$ echo ${URL%.*} # 移 除 .* 所 匹配 的 最 右边 的 内 容 


www.google 


i 考虑 到 文件 名 中 可 能 包含 多 个 .字符 ， 所 以 相 较 于 #，## 更 适合 于 从 中 提取 


$ echo ${URL%.*} # 将 从 右边 开始 一 直 匹 配 到 最 左边 的 .* ( 贪 禁 操作 符 ) 移 除 


WWW 
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$ echo ${URL#*.} # 移 除 * .所 匹配 的 最 左边 的 内 容 


google.com 


$ echo ${URL##*.} # 将 从 左边 开始 一 直 匹 配 到 最 右边 的 *。( 贪 禁 操 作 符 ) 移 除 


com 


2.13 ”多 个 文件 的 重 命 名 与 移动 


移动 或 重 命名 多 个 文件 是 我 们 经 常会 碰 到 的 一 项 工作 。 系统 管理 员 经 常 需要 将 有 相同 前 级 或 
相同 类 型 的 文件 移动 到 新 的 目录 中 。 从 数码 相机 中 下 载 的 照片 可 能 需要 重 命 名 并 保存 。 音 乐 、 视 
频 和 E-mail 也 得 定期 重新 整理 。 


这 些 工作 都 有 专门 的 应 用 程序 来 完成 ， 但 是 我 们 也 可 以 按照 自己 的 方式 编写 脚本 来 实现 。 
让 我 们 看 看 如 何 用 脚本 来 执行 此 类 操作 。 






































2.13.1 ”预备 知识 


rename 命 令 利用 Perl 正 则 表达 式 修改 文件 名 。 组 合 fEinda、rename 和 mv 命令 ， 我 们 能 做 到 的 
事 其 实 很 多 。 





2.13.2 ”实战 演练 





下 面 的 脚本 利用 fina 查 找 PNG 和 JPEG 文 件 , 然后 使 用 ## 操 作 符 和 mv 将 查找 到 的 文件 重 命名 
为 iImage-1.EXT、image-2.EXT 等 。 注 意 ， 肢 本 并 不 会 修改 文件 的 扩展 名 : 
#!/bin/bash 


# 文 件 名 : rename.sh 
# 用 途 : 重 命 名 .jpg 和 .png 文件 











COUunNnt=17 
for img in ‘find . -iname '*.png' -o -iname '*.jpg' -type f -maxdepth 1. 
do 

new=image-S$Scount .S$ {img##*.} 


echo "Renaming Simg to S$new" 
mv 中 Simg 中 中 Snew" 


Jet count++ 


done 
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输出 如 下 : 


$ ./rename.sh 
Renaming hack.jpg to image-1.jpg 
Renaming new.jpg to image-2.jpg 


Renaming next .png to image-3.png 


该 脚本 重 命 名 了 当前 目录 下 所 有 的 .jpg 和 .png 文 件 , 新 文件 名 采用 形 如 image-1.jpg、image-2.jpg、 
image-3.png、image-4.png 的 格式 。 





2.13.3 ”工作 原理 


在 前 面 的 重 命名 脚本 中 使 用 了 fo 循环 迭代 所 有 扩展 名 为 jpg 或 .png 的 文件 。 我 们 使 用 findq 
命令 展开 搜索 ， 选 项 -o 用 于 指定 多 个 -iname 选 项 ， 后 者 用 于 进行 大 小 写 无 关 的 匹配 。 选 项 
-maxdepth 1 仅 搜索 当前 目录 ， 不 涉及 其 中 的 子 目录 。 


























为 了 跟踪 图 像 编号 ， 我 们 将 变量 count 初 始 化 为 1。 接 下 来 用 mv 命令 重 命名 文件 。 新 的 文件 
名 通过 s{img##* .} 来 构造 ， 它 能 够 从 当前 处 理 的 文件 名 中 解析 出 扩展 名 ( 请 参看 2.12 节 中 对 于 
s {img##*.} 的 解释 )。1let _ count++ 用 来 在 每 次 循环 中 递增 文件 编号 。 


还 有 其 他 重 命名 文件 的 方法 。 
口 将 * .JPG 更 名 为 * .jpg: 
$ rename *.JPG *.jpg 
口 将 文件 名 中 的 空格 蔡 换 成 字符 "_" : 


$ rename 's/ /_/g' * 



































's/ /_/g' 用 于 替换 文件 名 ,而 * 是 用 于 匹配 目标 文件 的 通配符 ， 它 也 可 以 写成 * .Ext 
或 其 他 通配符 模式 。 


口 转换 文件 名 的 大 小 写 : 








$ rename 'y/A-Z/a-z/' * 


$ rename 'y/a-z/A-Z/' * 
口 将 所 有 的 .mp3 文 件 移入 给 定 的 目录 : 
$ find path -type f -name "*.mp3" -exec mv {} target dir \，; 


口 以 递归 的 方式 将 所 有 文件 名 中 的 空格 替换 为 字符 "_": 





$ find path -type f -exec rename 's/ /_/g' {} \; 
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2.14 ”拼写 检查 与 词典 操作 


大 多 数 Linux 发 行 版 都 含有 一 份 词典 文件 。 然 而 ， 我 发 现 几 乎 没 人 在 意 过 这 个 文件 ， 拼 写 错 
误 仍 是 满天飞 。 还 有 一 个 叫 作 aspel1 的 命令 行 实用 工具 ， 其 作用 是 进行 拼写 检查 。 让 我 们 通过 
几 个 脚本 来 看 看 如 何 使 用 词典 文件 和 拼写 检查 工具 。 























b= 


2.14.1 ”实战 演练 


目录 /usr/share/dict/ 中 包含 了 一 些 词典 文件 。 所谓“ 词典 文件 ”就 是 包含 了 单词 列表 的 文本 文 
件 。 我 们 可 以 利用 它 来 检查 某 个 单词 是 否 在 词典 之 中 。 


$ ls /usr/share/dict/ 
american-english british-english 


为 了 检查 给 定 的 单词 是 否 为 词典 单词 ， 可 以 使 用 下 面 的 脚本 : 


#!/bin/bash 
# 文 件 名 : checkword.sh 
word=S$1 
grep "^$1$" /usr/share/dict/british-english -q 
if [ $? -eq 0 ]; then 
echo S$word is a dictionary word; 
else 
echo Swordq is not a dictionary word; 
£1i 


这 个 脚本 的 用 法 如 下 : 


$ ./checkword.sh ful 
ful is not a dictionary word 


























$ ./checkword.sh fool 
fool is a dictionary word 


2.14.2 ”工作 原理 
在 grep 中 ，^ 标 记 着 单词 的 开始 ，s 标 记 着 单词 的 结束 ?，-gq 选 项 禁止 grep 产 生 任 何 输出 。 
作为 另 一 种 选择 ， 我 们 也 可 以 用 拼写 检查 命令 aspe1l1 来 核查 某 个 单词 是 否 在 词典 中 


#!/bin/bash 
# 文 件 名 : aspellcheck.sh 
word=S$1 




















QD ^ 匹 配 的 是 行 首位 置 ，$ 匹 配 的 是 行 尾 位 置 。 因 为 词典 文件 中 每 行 只 有 一 个 单词 , 故 使 用 正则 表达 式 ^$1$ 匹 配 行 
中 出 现 的 完整 单词 。 在 该 例 中 ， 从 效果 上 来 看 ，^ 和 $ 恰 好 分 别 对 应 了 单词 的 起 止 位 置 ,但 要 注意 这 两 者 并 非 单 
词 分 界 符 。 






































2.15 交互 输入 自动 化 85 





output= ~ echo \"$word\" | aspell list. 
if [ -z Soutput ]; then 

echo Sword is a dictionary word; 
else 

echo Sword is not a dictionary word; 
fi 

















当 给 定 的 输入 不 是 一 个 词典 单词 时 ，aspell 1ist 命 令 会 生成 输出 ， 否 则 不 产生 任何 输出 。 
-z 用 于 确认 $output 是 否 为 空 。 

1ook 命 令 可 以 显示 出 以 特定 字符 串 起 始 的 行 。 你 可 以 用 它 在 日 志文 件 中 查找 以 特定 日 期 为 
首 的 记录 ， 或 是 在 词典 中 查找 以 特定 字符 串 开 头 的 单词 。1ook 默 认 会 搜索 /usrshare/dictwords ， 
你 也 可 以 给 出 文件 供 其 搜索 : 

$ look word 
或 者 使 用 

$ grep "^word" filepath 


例如 : 


$ look android 
android 
android's 
androids 


在 /var/log/syslog 中 找 出 以 特定 日 期 起 始 的 日 志 记 录 : 
































$look 'Aug 30' /var/log/syslog 


2.15 ”交互 输入 自动 化 
我 们 知道 命令 可 以 接受 命令 行 参 数 。Linux 也 支持 很 多 交互 式 应 用 程序 ， 如 passwd 和 ssh。 





我 们 可 以 创建 自己 的 交互 式 shell 脚 本 。 对 于 普通 用 户 而 言 , 相 较 于 记忆 命令 行 参数 及 其 正确 的 
顺序 , 同一 系列 提示 信息 打交道 要 更 容易 。 例 如 , 一 个 备份 用 户 工作 成 果 的 脚本 看 起 来 应 该 像 这 样 : 








$ backupWork . sh 
口 What folder should be backed up? notes 
口 What type of files should be backed up? .docx 
如 果 你 需要 返回 到 同一 交互 式 应 用 , 实现 交互 式 应 用 自动 化 能 够 节省 大 量 的 时 间 ; 如 果 你 正 
在 开发 此 类 应 用 ， 这 也 可 以 避免 你 陷入 重复 输入 的 挫折 感 中 。 
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2.15.1 ”预备 知识 


任务 自动 化 的 第 一 步 就 是 运行 程序 , 然后 注意 需要 执行 什么 操作 。 之 前 讲 过 的 脚本 命令 可 能 
会 派 上 用 场 。 





2.15.2 ”实战 演练 
观察 交互 式 输入 的 顺序 。 参 照 上 面 的 代码 ， 我 们 可 以 将 涉及 的 步骤 描述 如 下 
notes[Return]docx[Return] 
输入 notes, 按 回 车 键 , 然后 输入 docx， 再 按 回 车 键 。 这 一 系列 操作 可 以 被 转换 成 下 列 字 
符 申 ; 
"notes\ndocx\n" 
按 下 回 车 键 时 会 发 送 \n。 添 加 \n 后 ， 就 生成 了 发 送 给 stain 的 字符 申 。 
通过 发 送 与 用 户 输入 等 效 的 字符 串 ， 我 们 就 可 以 实现 在 交互 过 程 中 自动 发 送 输 入 。 
































2.15.3 ”工作 原理 
先 写 一 个 读 取 交互 式 输入 的 脚本 ， 然 后 用 这 个 脚本 做 自动 化 演示 : 


#!/bin/bash 
# backup.sh 
# 使 用 后 缓 备份 文件 。 不 备份 以 ~ 开头 的 临时 文件 


read -p " What folder should be backed up: " folder 
read -p " What type of files should be backed up: " suffix 
find S$folder -name "*.S$suffix" -a ! -name '~*' -exec cp {} \ 


SBACKUP/ SLOGNAME/S$Sfolder 
echo "Backed up files from S$folder to $BACKUP/S$SLOGNAME/S$Sfolder" 


按照 下 面 的 方法 向 脚本 发 送 自 动 输入 : 


$ echo -e "notes\ndocx\n" | ./backup.sh 
Backed up files from notes to /BackupDrive/MyName/notes 


像 这 样 的 交互 式 脚本 自动 化 能 够 在 开发 和 调试 过 程 中 节省 大 量 输入 。 男 外 还 可 以 确保 每 次 测 
试 都 相同 ， 不 会 出 现 由 于 输入 错误 导致 的 bug 假 象 。 


我 们 用 echo -e 来 生成 输入 序列 。-e 选 项 表明 echo 会 解释 转 义 序列 。 如 果 输 入 内 容 比 较 多 ， 
可 以 用 单独 的 输入 文件 结合 重 定向 操作 符 来 提供 输入 : 


$ echo -e "notes\ndocx\n" > input.data 
$ cat input.data 

notes 

docx 
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你 也 可 以 选择 手动 构造 输入 文件 ， 不 使 用 echo 命 令 : 

$ ./interactive.sh < input.data 

这 种 方法 是 从 文件 中 导入 交互 式 输 入 数据 。 

如 果 你 是 一 名 逆向 工程 师 , 那 可 能 免不了 要 同 缓冲 区 溢出 攻击 打交道 。 要 实施 攻击 ,我 们 需 
要 将 十 六 进 制 形式 的 shellcogde (例如 \xep\xla\x5e\x31\xc0\x88\x46 ) 进行 重 定 向 。 这些 
字符 没 法 直接 输入 ， 因 为 键盘 上 并 没有 其 对 应 的 按键 。 因 此 ， 我 们 需要 使 用 : 

echo -e "\xeb\xla\x5e\x31\xc0\x88\x46" 

这 条 命令 会 将 这 串 字 节 序 列 重 定向 到 有 缺陷 的 可 执行 文件 中 。 

echo 命 令 和 重 定向 可 以 实现 交互 式 输入 的 自动 化 。 但 这 种 技术 存在 问题 ， 因 为 输入 内 容 没 
有 经 过 验证 ， 我 们 认定 目标 应 用 总 是 以 相同 的 顺序 接收 数据 。 但 如 果 程 序 要 求 的 输入 顺序 不 同 ， 
或 是 对 某 些 输入 内 容 不 做 要 求 ， 那 就 要 出 贫 子 了 。 

expect 程 序 能 够 执行 复杂 的 交互 操作 并 适应 目标 应 用 的 变化 。 该 程序 在 世界 范围 内 被 广泛 
用 于 控制 硬件 测试 、 验 证 软件 构建 、 查 询 路 由 器 统计 信息 等 。 




































































2.15.4 补充 内 容 

expect 是 一 个 和 shell 类 似 的 解释 器 。 它 基 于 TCL 语 言 。 我 们 将 讨论 如 何 使 用 spawn、expect 
和 seng 命 令 实现 简单 的 自动 化 。 借助 于 TCLi 语 言 的 强大 功能 ， expect 能 够 完成 更 为 复杂 的 任务 。 
你 可 以 通过 网 站 http:Wwww.tcl. 人 k 学 到 有 关 TCL 语 言 的 更 多 内 容 。 























用 expect 实 现 自动 化 
Linux 发 行 版 默认 并 不 包含 sxpect。 你 得 用 软件 包 管 理 需 ( apt-get 或 yum ) 手动 进行 安装 。 


expect 有 3 个 主要 命令 ， 见 表 2-2。 










































































表 2-2 
命 令 描 述 
spawn 运行 新 的 目标 应 用 
expect 关注 目标 应 用 发 送 的 模式 
send 向 目标 应 用 发 送 字符 串 
下 面 的 例子 会 先 执行 备份 脚本 ,然后 查找 模式 *foldqer* 或 *file*， 以 此 确定 备份 脚本 是 否 
要 求 输入 目录 名 或 文件 名 并 作出 相应 的 回应 。 如 果 重 写 备份 脚 本 ， 要 求 先 输入 备份 文件 类 型 ， 后 











输入 备份 目录 ， 这 个 自动 化 脚本 依然 能 够 应 对 。 
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#!/usr/bin/expect 
# 文 件 名 : automate_expect.tcl 
spawn ./backup .sh 
expect { 
"*folder*" { 
send "notes\n" 
exp_continue 
"*type*" { 
send "docx\n" 
exp_continue 
} 
} 


运行 该 脚本 : 

$ ./automate expect.tcl 

spawn 命 令 的 参数 是 需要 自动 化 运行 的 应 用 程序 及 其 参数 。 

xpect 命 令 接受 一 组 模式 以 及 匹配 模式 时 要 执行 的 操作 。 操 作 需 要 放 人 和 人 花 括号 中 。 


sengd 命 令 是 要 发 送 的 信息 。 和 echo -n -e 类 似 ，sengd 不 会 自动 添加 换行 符 ， 也 能 够 理解 转 
义 字符 。 




















2.16 ”利用 并 行进 程 加 速 命令 执行 


计算 能 力 的 持续 攀升 不 仅仅 是 因为 处 理 器 有 了 更 高 的 时 钟 频率 , 还 因为 多 核 的 出 现 。 这 意味 
着 单个 物理 处 理 器 中 包含 了 多 个 逻辑 处 理 器 。 这 就 像 是 有 了 多 台 计 算 机 一 样 。 


但 除非 软件 能 够 善 加 利用 多 核 , 否则 它们 毫 无 用 武之 地 。 例 如, 一 个 需要 进行 大 量 运 算 的 程 
序 可 能 仅 运行 在 其 中 一 个 核心 上 ,而 其 他 的 核心 都 处 于 闲置 状态 。 如 果 想 提高 速度 ,软件 必须 留 
意 并 充分 利用 多 核 。 


在 这 则 攻略 中 ,我 们 会 看 到 如 何 让 命令 运行 得 更 快 。 























2.16.1 ”实战 演练 


以 之 前 讲 过 的 md5sum 命 令 为 例 。 由 于 需要 执行 复杂 的 运算 ，md5sum 属 于 CPU 密 集 型 命令 。 
如 果 多 个 文件 需要 生成 校 验 和 ， 我 们 可 以 使 用 下 面 的 脚本 来 运行 na5sum 的 多 个 实例 : 


#/bin/bash 

# 文 件 名 : generate_checksums.sh 
PIDARRAY= () 

for file in Filel.iso File2.iso 
do 
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md5sum S$file & 
PIDARRAY+= ("$1!1") 
done 
wait S${PIDARRAY[@]} 


运行 脚本 后 ， 可 以 得 到 如 下 输出 : 





$ ./generate checksums.sh 
330dcb53f253acdf76431lcecca0fefe7 Filel.iso 
bd1694a6fe6df12c3b8141dcffaf06e6 File2.iso 


输出 结果 和 下 面 命令 的 结果 一 样 : 
md5sum Filel.iso File2.iso 


但 如 果 多 个 mda5sum 命 令 同 时 和 运行， 配合 多 核 处 理 器 ， 你 就 会 更 快 地 获得 运行 结果 ( 可 以 使 
用 time 命 令 来 验证 )。 








2.16.2 ”工作 原理 


我 们 利用 了 Bash 的 操作 符 &， 它 使 得 shell 将 命令 置 于 后 台 并 继续 执行 脚本 。 这 意味 着 一 旦 循 
环 结束 ， 脚 本 就 会 退出 ， 而 mda5sum 进 程 仍 在 后 台 运 行 。 为 了 避免 这 种 情况 ， 我 们 使 用 $! 来 获得 
进程 的 PID ， 在 Bash 中 ，$ 保存 着 最 近 一 个 后 台 进 程 的 PID 。 我 们 将 这 些 PID 放 入 数组 ， 然 后 使 用 


wait 命 令 等 待 这 些 进 程 结 束 。 














2.16.3 ”补充 内 容 


对 于 少量 任务 ，Bash 的 操作 符 & 效 果 很 好 。 如 果 你 有 数 以 百 计 的 文件 要 计算 校 验 和 ， 那 么 脚 
本 就 会 生成 上 百 个 进程 ,这 有 可 能 会 强迫 系统 执行 换 页 操作 ( swapping )， 拖 慢 执行 速度 。 


并 非 所 有 系统 都 会 安装 GNU parallel 命 令 , 不 过 你 仍 可 以 使 用 软件 包 管理 器 来 安装 。 该 个 
令 能 够 优化 资源 使 用 ， 避 免 系统 超载 。 


parallel 命 令 从 stdin 中 读 取 文 件 列表 ， 使 用 类 似 于 fingd 命 令 的 -exec 选 项 来 处 理 这 些 文 
件 。 符 号 {代表 被 处 理 的 文件 ， 符 号 {. } 代 表 无 后 级 的 文件 名 。 


下 面 的 命令 使 用 了 Imagemagick 的 convert 程 序 来 为 目录 中 的 所 有 图 像 创 建新 的 缩放 版 本 : 


ls *jpg | parallel convert {} -geometry 50x50 {.}Small.jpg 


2.17 检查 目录 以 及 其 中 的 文件 与 子 目录 


我 们 处 理 得 最 多 的 一 个 问题 就 是 查找 放 错 地 方 的 文件 并 整理 凌乱 的 文件 层次 结构 。 在 这 则 攻 
略 中 ， 我 们 会 讲 到 检查 部 分 文件 系统 并 展现 其 内 容 的 一 些 技巧 。 











E> 
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2.17.1 ”预备 知识 
我 们 之 前 讨论 过 的 fina 命 令 以 及 循环 能 够 帮助 检查 并 报告 目录 及 其 内 容 。 


2.17.2 “实战 演练 











有 两 种 方法 可 以 检查 目录 。 一 种 方法 是 将 目录 层次 以 树 状 形式 显示 出 来 , 男 一 种 方法 是 生成 
目录 下 所 有 文件 和 子 目 录 的 汇总 信息 。 


1. 生成 目录 的 树 状 视图 
有 时 候 ， 如 果 文 件 系 统 以 图 形 化 形式 呈现 ， 会 更 容易 形成 直观 的 印象 。 


接 下 来 的 例子 中 综合 运用 了 我 们 讲 过 的 多 种 工具 。 其 中 使 用 findq 命 令 生成 了 当前 目录 下 所 
有 文件 及 子 目 录 的 列表 。 

-exec 选 项 创建 了 一 个 子 shell， 在 这 个 子 shell 中 使 用 echo 命 令 将 文件 名 发 送 给 tr 命令 的 
stgin。 这 里 用 到 了 两 个 tr 命令 。 第 一 个 tr 删除 了 所 有 的 字母 数字 字符 、 连 字符 ( - )、 下 划 线 
(_) 和 点 号 (. )， 只 将 路 径 中 的 斜 线 (7 ) 传人 第 二 个 tr， 后 者 将 这 些 斜 线 全 部 转换 成 空格 。 最 
后 ， 利 用 basename 命 令 去 掉 文 件 名 前 的 路 径 部 分 并 将 结果 显示 出 来 。 


下 面 来 查看 目录 /varlog 的 树 状 视图 : 



































$ cd /var/log 


$ find . -exec sh -c 'echo -n {} | tr -d "[:alnum:]_.\-" | \ 
tr "/" " "; basename {}' \; 


生成 如 下 输出 : 


mail 
statistics 


error_ log 
access_log 
. access_1 


2. 生成 文件 及 子 目录 的 汇总 信息 


我 们 可 以 结合 finda、echo 和 wec (下 一 章 会 详细 讲解 该 命令 ) 生成 子 日 录 列 表 以 及 其 中 的 文 
件数 量 。 


下 面 的 命令 可 以 获得 当前 目录 下 文件 的 汇总 信息 : 


2.17 检查 目录 以 及 其 中 的 文件 与 子 目 录 91 





for Q in ‘find . -type dd; 

do 

echo ‘find $d -type f | wc -1. files in $d; 
done 


如 果 在 /Var/log 下 执行 该 脚本 ,会 生成 如 下 输出 : 


103 files in . 

17 files in ./cups 
0 files in ./hp 

0 files in ./hp/tmp 





以 文件 之 名 

















本 章 内 容 

口 生成 任意 大 小 的 文件 口 查找 并 修补 文件 差异 

口 文本 文件 的 交集 与 差 集 口 使 用 head 与 ail 打印 文件 的 前 10 行 
口 查找 并 删除 重复 文件 和 后 10 行 

口 文件 权限 、 所 有 权 与 粘 清 位 口 只 列 出 目录 的 各 种 方法 

口 将 文件 设置 为 不 可 修改 口 在 命令 行 中 使 用 pushg 和 popa 实 现 快 
口 批量 生成 空白 文件 速 定 位 

口 查找 符号 链接 及 其 指向 目标 口 统计 文件 的 行 数 、 单 词 数 和 字符 数 

口 枚 举 文件 类 型 统计 信息 口 打印 目录 树 

口 使 用 环 回 文件 口 处 理 视 频 与 图 像 文件 

口 生成 ISO 及 混合 型 ISO 文件 





3.1 简介 


Unix 为 所 有 的 设备 和 系统 功能 提供 了 文件 形式 的 接口 。 可 以 通过 这 些 特殊 文件 直接 访问 设备 
(如 U 盘 和 硬盘 ) 以 及 系统 功能 (如 内 存 占用 情况 、 传 感 器 和 进程 栈 )。 例 如， 我 们 所 使 用 的 命令 
终端 就 是 和 一 个 设备 文件 关联 在 一 起 的 。 可 以 通过 写 入 特定 终端 所 对 应 的 设备 文件 来 实现 向 终端 
写 入 信息 。 我 们 可 以 访问 目录 、 普 通 文件 、 块 设备 、 字 符 设备 、 符 号 链接 、 套 接 字 和 命名 管道 等 。 
文件 名 、 大 小 、 文 件 类 型 、 文 件 内 容 修改 时 间 、 文 件 访问 时 间 、 文 件 属性 更 改 时 间 、i 市 点 、 
链接 以 及 文件 所 在 的 文件 系统 等 都 是 文件 的 属性 。 本 章 包 含 的 实战 攻略 涉及 文件 相关 的 操作 及 




































































3.2 生成 任意 大 小 的 文件 
包含 随机 数据 的 文件 可 用 于 测试 。 你 可 以 使 用 这 种 文件 测试 应 用 程序 效率 , 确定 


a9 


用 程序 没 
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有 输入 方面 的 缺陷 和 大 小 方面 的 限制 , 创建 环 回 文件 系统 ( 环 回 文 件 自身 包含 文件 系统 ,这 种 文 
件 可 以 像 物 理 设备 一 样 使 用 mount 命 令 进 行 挂 载 ) 等 。 Linux 提 供 了 一 些 可 用 于 构建 此 类 文件 的 实 
用 工具 。 


实战 演练 


创建 特定 大 小 的 文件 最 简单 的 方法 就 是 利用 aa 命令 。dq 命 令 会 克隆 给 定 的 输入 内 容 ， 然 后 
将 一 模 一 样 的 一 份 副本 写 入 到 输出 。stdqain、 设 备 文件 、 普 通 文件 等 都 可 作为 输入 ，staout、 
设备 文件 、 普 通 文件 等 也 可 作为 输出 。 下 面 是 使 用 aa 命令 的 一 个 示例 : 

$ dd if=/dev/zero of=junk.data bs=1M count=1 

1+0 records in 


1+0 records out 
1048576 bytes (1.0 MB) copied, 0.00767266 s, 137 MB/s 


该 命令 会 创建 一 个 内 容 全 部 为 零 的 I1MB 大 小 的 文件 junk.data。 
来 看 一 下 命令 参数 : 
口 if 表 示 输 入 文件 ( input file ); 
口 of 表示 输出 文件 (output file ); 
口 bs 指定 了 以 字 节 为 单位 的 块 大 小 (block size ); 
口 count 表 示 需 要 被 复制 的 块 数 。 
以 root 身 份 使 用 dd 命令 时 一 定 得 留意 ,该 命令 运行 在 设备 底层 。 要 是 你 不 小 
心 出 了 盆子 ， 摘 不 好 会 把 磁盘 清空 或 是 损坏 数据 。 一 定 要 反复 检查 aq 命令 所 用 
人 OD 的 语法 是 否 正 确 ， 尤 其 是 参数 of-。 
在 上 面 的 例子 中 ， 我 们 将 bs 指定 为 IMB ，count 指 定 为 1， 于 是 得 到 了 一 个 大 
小 为 1MB 的 文件 。 如 果 把 bs 设 为 2MB，count 设 为 2>， 那 么 总 文件 大 小 就 是 4MB 。 
块 大 小 〈bs) 可 以 使 用 各 种 计量 单位 。 表 3-1 中 任意 一 个 字符 都 可 以 置 于 表示 大 小 的 数字 
之 后 。 






































表 3-1 
单元 大 小 代 码 
字 节 (1B ) C 
字 (2B) w 
块 (512B ) B 
千 字 节 ( 1024B ) K 


兆 字 节 (1024KB ) M 


字 
吉 字 节 (1024MB ) G 
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我 们 可 以 利用 bs 来 生成 任意 大 小 的 文件 。 除 了 MB ， 表 中 给 出 的 其 他 计量 单位 都 可 以 使 用 。 
/dev/zero 是 一 个 特殊 的 字符 设备 ， 它 会 返回 0 值 字 节 〈\0 )。 


如 果 不 指定 输入 参数 (if )，dq 会 从 stdain 中 读 取 输入 。 如 果 不 指定 输出 参数 (of )， 则 aa 
会 使 用 staout 作 为 输出 。 


使 用 aa 命令 也 能 够 用 来 测量 内 存 操 作 的 速度 ， 这 可 以 通过 向 /aev/mnull 传 输 大 量 数据 并 观 
察 命令 输出 来 实现 ( 例如， 在 前 一 个 例子 中 显示 出 的 1048576 bytes (1.0 MB) copiea， 
0.00767266 s, 137 MB/s )。 












































3.3 ”文本 文件 的 交集 与 差 集 


交集 ( intersection ) 和 差 集 ( set difference ) 操作 在 数学 课 上 的 集合 论 中 经 常会 被 用 到 。 有 时 
候 ， 也 需要 对 字符 串 执行 类 似 的 操作 。 





3.3.1 预备 知识 


comm 命 令 可 用 于 比较 两 个 已 排序 的 文件 。 它 可 以 显示 出 第 一 个 文件 和 第 二 个 文件 所 独 有 的 
行 以 及 这 两 个 文件 所 共有 的 行 。 该 命令 有 一 些 选 项 可 以 禁止 显示 指定 的 列 , 以 便于 执行 交集 和 求 
差 操 作 。 


口 交集 ( intersection ): 打印 出 两 个 文件 所 共有 的 行 。 

口 求 差 〈difference ): 打印 出 指定 文件 中 所 包含 的 互 不 相同 的 那些 行 。 

口 差 集 ( set difference ) “: 打印 出 包含 在 文件 A 中 ， 但 不 包含 在 其 他 指定 文件 〈 例 如 B 和 C ) 
中 的 那些 行 。 











3.3.2 ”实战 演练 
需要 注意 的 是 comm 必 须 使 用 两 个 排 过 序 的 文件 作为 输入 。 下 面 是 我 们 用 到 的 输入 文件 : 


$ cat A.txt 
apple 
orange 
gold 

silver 











@ 假设 现在 有 两 个 文件 A 和 B， 内 容 分 别 是 : A(1,2,3)，B(3,4,5)。 那 么 ， 对 这 两 个 文件 进行 操作 的 结果 如 下 。 
交集 : 3。 
求 差 : 1,2,4,5。 
差 集 (A): 1,2。 
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steel 
iron 


$ cat B.txt 
orange 
gold 
Cookies 
carrot 


$ sort A.txt -o A.txt ; sort B.txt -o B.txt 
(1) 首先 执行 不 带 任何 选项 的 comm: 


$ comm A.txt B.txt 








apple 
carrot 
cookies 
gold 
iron 
orange 
silver 
steel 


输出 的 第 一 列 包含 只 在 A.txt 中 出 现 的 行 ， 第 二 列 包含 只 在 B.txt 中 出 现 的 行 ， 第 三 列 包含 
A.txt 和 B.txt 中 共有 的 行 。 各 列 之 间 以 制 表 符 (\t ) 作为 分 隔 符 。 

(2) 为 了 打印 两 个 文件 的 交集 ， 我 们 需要 删除 前 两 列 ， 只 打印 出 第 三 列 。-1 选 项 可 以 删除 第 
一 列 ，-2 选 项 可 以 删除 第 二 列 ， 最 后 留 下 的 就 是 第 三 列 : 


$ comm A.txt B.txt -1 -2 
gold 
orange 


(3) 删除 第 三 列 ， 就 可 以 打印 出 两 个 文件 中 互 不 相同 的 那些 行 : 


$ comm A.txt B.txt -3 


























apple 
carrot 
cookies 
iron 
silver 
steel 


输出 中 包含 着 夹杂 有 空白 的 两 列 ， 显示 了 在 flel1 和 file2 中 存在 的 唯一 的 行 。 要 想 提 高 输出 
结果 的 可 用 性 ， 可 以 将 两 列 合 并 成 一 列 ， 就 像 这 样 : 











apple 
carrot 
cookies 
iron 
silver 
steel 
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(4) 可 以 使 用 tr (在 第 2 章 中 讲 到 过 ) 删除 制 表 符 来 合并 两 列 : 


$ comm A.txt B.txt -3 | tr -d '\t' 
apple 

carrot 

cookies 

iron 

silver 

steel 


(5) 通过 删除 不 需要 的 列 ， 我 们 就 可 以 分 别 得 到 A.txt 和 B.txt 的 差 集 。 








$ comm A.txt B.txt -2 -3 

-2 -3 删除 第 二 列 和 第 三 列 。 
口 B.txt 的 差 集 

$ comm A.txt B.txt -1 -3 


-1 -3 删除 第 一 列 和 第 三 列 。 

















3.3.3 工作 原理 
comm 的 命令 行 选 项 可 以 减少 输出 。 


口 -1: 删除 第 一 列 。 
口 -2: 删除 第 二 列 。 
口 -3 : 川 除 第 三 列 。 


差 集 操作 允许 你 比较 两 个 文件 , 去 掉 两 个 文件 中 共有 的 行 , 打印 出 只 在 A.txt 或 B.txt 中 出 现 的 
那些 行 。 当 A.txt 和 B.txt 作 为 comm 命 令 的 参数 时 ， 输 出 中 的 第 一 列 是 A.txt 相 对 于 B.txt 的 差 集 ， 第 
二 列 是 B.txt 相 对 于 A.txt 的 差 集 。 


comm 命 令 还 接受 字符 -作为 命令 行 参 数 ， 借 此 实现 从 stdain 中 读 取 输 入 。 这 就 提供 了 一 种 比 
较 多 个 文件 的 方法 。 


假设 我 们 有 一 个 文件 C.txt: 


$> cat C.txt 
pear 

orange 
silver 
mithral 


我 们 可 以 将 文件 B.txt 和 C.txt 与 A.txt 相 比较 : 
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$> sort B.txt C.txt | comm - A.txt 
apple 
carrot 
cookies 
gold 
iron 
mithral 
orange 
pear 
silver 
steel 


3.4 查找 并 删除 重复 文件 


无 论 是 恢复 备份 ， 还 是 在 离线 模式 (disconnected mode ) 下 使 用 笔记 本 电脑 ,或 是 从 手机 中 
下 载 图 片 , 到 最 后 都 会 磁 到 具有 相同 内 容 的 重复 文件 。 你 接 下 来 要 做 的 大 概 会 是 删除 这 些 重复 文 
件 ， 只 保留 单个 副本 。 我 们 可 以 使 用 一 些 shell 实 用 工具 检查 文件 内 容 , 识别 重复 文件 。 在 这 则 攻 
略 中 ， 我 们 将 讨论 如 何 查 找 重 复 文件 并 根据 查找 结果 执行 相关 的 操作 。 












































3.4.1 预备 知识 


我 们 可 以 通过 比较 文件 内 容 来 识别 重复 文件 。 校 验 和 是 一 种 理想 的 解决 方法 。 内 容 相同 的 文 
件 自然 会 生成 相同 的 校 验 和 。 





3.4.2 ”实战 演练 
下 面 是 查找 并 删除 重复 文件 的 步骤 。 
(1) 创建 一 些 测试 文件 : 

















$ echo "hello" > test ; cp test test copyl ; cp test test copy2; 
$ echo "next" > other; 
# test_copyl 和 test_copy2 都 是 test 文 件 的 副本 


(2) 我 们 在 脚本 中 使 用 awk (Linux/Unix 系 统 中 都 存在 的 一 个 解释 器 ) 来 删除 重复 文件 : 


# !/bin/bash 
# 文件 名 : remove_duplicates.sh 
# 用 途 : 查找 并 删除 重复 文件 ， 每 一 个 文件 只 保留 一 份 
ls -1S --time-style=long-iso | awk 'BEGIN { 
getline; getline; 
namel=$8; size=$5 
} 
{ 
name2=$8; 
if (size==$5) 
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"md5sum "namel | getline; csuml=$1; 
"md5sum "name2 | getline; csum2=$1; 
if ( csuml==csum2 ) 
{ 

print namel; print name2 
} 


size=$5; namel=name2; 
}' | sort -u > duplicate_files 


cat duplicate files | xargs -I {} md5sum {} | \ 
sort | unid -w 32 | awk '{ print $2 }' | AN 
sort -u > unique files 


echo Removing.. 
comm duplicate_files unique files -3 | tee /dev/stderr | \ 


xargs rm 
echo Removed duplicates files successfully. 


(3) 执行 该 脚本 : 
$ ./remove duplicates.sh 
3.4.3 工作 原理 


前 文中 的 shell 脚 本 会 找 出 某 个 目录 中 同一 文件 的 所 有 副本 , 然后 保留 单个 副本 的 同时 删除 其 
他 副本 。 让 我 们 研究 一 下 这 个 脚本 的 工作 原理 。 





ls -1S 对 当前 目录 下 的 所 有 文件 按照 文件 大 小 进行 排序 并 列 出 文件 的 详细 信息 。 
--time-style=long-iso 告 诉 1s 依 上 照 Iso 格 式 打 印 日 期 。awk 读 取 1s -1s 的 输出 ， 对 行列 进行 
比较 ， 找 出 重复 文件 。 


这 段 代 码 的 执行 逻辑 如 下 。 


息 


AN 


口 我 们 将 文件 依据 大 小 排序 并 列 出 ， 这 样 大 小 相同 的 文件 就 会 排列 在 一 起 。 识 别 大 小 相同 
的 文件 是 我 们 查找 重复 文件 的 第 一 步 。 接 下 来 ， 计 算 这 些 文件 的 校 验 和 。 如 果 校 验 和 相 
同 ， 那 么 这 些 文件 就 是 重复 文件 ， 将 被 删除 。 

口 在 进行 主要 处 理 之 前 , 首先 要 执行 awk 的 BEGIN{ } 语 句 块 。 该 语句 块 读 取 文件 所 有 的 行 并 
初始 化 变量 。 处 理 1s 剩 余 的 输出 都 是 在 1 语句 块 中 完成 的 。 读 取 并 处 理 完 所 有 的 行 之 后 ， 
执行 END{ } 语 句 块 。1s -1s 的 输出 如 下 : 























total 16 
-rw-r--r-- 1 slynux slynux 5 2010-06-29 11:50 other 
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-rw-r--r-- 1 slynux slynux 6 2010-06-29 11:50 test 
-rw-r--r-- 1 slynux slynux 6 2010-06-29 11:50 test_ copyl 
-rw-r--r-- 1 slynux slynux 6 2010-06-29 11:50 test_copy2 


口 第 1 行 输出 告诉 了 我 们 文件 的 总 数量 ,这 个 信息 在 本 例 中 没什么 用 处 。 我 们 用 get1ine 读 
取 该 行 ， 然 后 丢弃 掉 。 我 们 需要 比 对 每 一 行 及 其 下 一 行 的 文件 大 小 。 在 BEGIN 语 句 块 中 ， 
使 用 setline 读 取 文 件 列表 的 第 一 行 并 存储 文件 名 和 大 小 分 别 对 应 第 8 列 和 第 5 列 )。 当 
awk 进 入 {} 语 句 块 后 ， 依 次 读 取 余下 的 行 (一 次 一 行 )。 在 该 语句 块 中 ,将 从 当前 行 中 得 
到 的 文件 大 小 与 之 前 存储 在 变量 size 中 的 值 进行 比较 。 如 果 相 等 ， 那 就 意味 着 两 个 文件 
至 少 在 大 小 上 是 相同 的 ， 必 须 再 用 ma5 sum 做 进一步 的 检查 。 


我 们 在 给 出 的 解决 方法 中 使 用 了 一 些 技巧 。 
在 awk 内 部 可 以 读 取 外 部 命令 的 输出 : 
































"cmd"| getline 


读 人 一 行 后 ,该 行 就 被 保存 在 $0 中 ， 行 中 的 每 一 列 分 别 被 保存 在 $1、s$2… sn 中。 我 们 将 文 
件 的 md5s 校 验 和 分 别 保 存在 变量 csum1 和 csum2 中 。 变 量 name1 和 name2 保 存 文件 列表 中 相 邻 两 
个 文件 的 文件 名 。 如 果 两 个 文件 的 校 验 和 相同 , 那 它 们 肯定 是 重复 文件 , 其 文件 名 会 被 打印 出 来 。 


我 们 需要 从 每 组 重复 文件 中 找 出 一 个 文件 ， 这 样 就 可 以 删除 其 他 副本 了 。 计 算 重 复 文件 的 
mgd5sum 值 并 从 每 一 组 重复 文件 中 打印 出 其 中 一 个 。 这 是 通过 用 -w 32 比 较 每 一 行 的 md5sum 输 出 
中 的 前 32 个 字符 ( ma5sum 的 输出 通常 由 32 个 字符 的 散 列 值 和 文件 名 组 成 ) 来 找 出 那些 不 相同 的 
行 ( 注 : 也 就 是 不 重复 的 文件 ),。 这 样 , 每 组 重复 文件 中 的 一 个 采样 就 被 写 人 unique_files 文 件 。 

现在 需要 将 duplicate_files 中 列 出 的 、 未 包含 在 unique_files 之 内 的 文件 全 部 删除 。 
comm 命 令 可 以 将 其 打印 出 来 。 

对 此 ， 我 们 可 以 使 用 差 集 操作 来 实现 〈 人 参考 3.3 节 )。 

comm 只 能 处 理 排序 过 的 文件 。 因 此 ， 使 用 sort -u 来 过 滤 auplicate_files 和 uniaue_files 
文件 。 


tee 可 以 将 文件 名 传 给 rm 命令 并 输出 。tee 可 以 将 输出 发 送 至 stgaout 和 男 一 个 文件 中 。 我 
们 也 可 以 将 文本 重 定 问 到 stgqerr 来 实现 终端 打印 功能 。/dev/stderr 是 对 应 于 stdaerr (标准 错误 ) 
的 设备 。 通 过 重 定 向 到 stderr 设 备 文件 ， 发 送 到 stdin 的 文本 将 会 以 标准 错误 的 形式 出 现在 终 
端 中 。 






























































3.5 文件 权限 、 所 有 权 与 粘 灌 位 
文件 权限 和 所 有 权 是 Unix/Linux 文 件 系统 的 显著 特性 之 一 。 这 些 特性 能 够 在 多 用 户 环境 中 保 
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护 你 的 个 人 信息 。 不 匹配 的 权限 和 所 有 权 也 会 导致 文件 共享 方面 的 难题 。 这 则 攻略 讲解 了 如 何 有 
效 地 设置 文件 的 权限 和 所 有 权 。 


每 一 个 文件 都 拥有 多 种 类 型 的 权限 。 在 这 些 权 限 中 ， 我 们 通常 要 和 三 组 权限 打交道 ( 用 户 、 
用 户 组 以 及 其 他 用 户 )。 
用 户 (user ) 是 文件 的 所 有 者 ， 通 常 拥有 所 有 的 访问 权 。 用 户 组 (group ) 是 多 个 用 户 的 集合 
(由 系统 管理 员 指定 )， 可 能 拥有 文件 的 部 分 访问 权 。 其 他 用 户 ( others ) 是 除 文件 所 有 者 或 用 户 
组 成 员 之 外 的 任何 人 。 

ls 命令 的 -1 选项 可 以 显示 出 包括 文件 类 型 、 权 限 、 所 有 者 以 及 组 在 内 的 多 方面 信息 : 


-rw-r--r-- 1 slynux users 2497 2010-02-28 11:22 bot.py 
drwxr-xr-x 2 slynux users 4096 2010-05-27 14:31 a.py 
-rw-r--r-- 1 slynux users 539 2010-02-10 09:11 cl.pl 
















































































es 


第 1 列表 明了 文件 类 型 。 


口 -: 普通 文件 。 
口 d: 目录 。 

口 c: 字符 设备 。 
口 b: 块 设备 。 
D 口 1: 符号 链接 。 
口 s: 套 接 字 。 


口 p: 管道 。 


接 下 来 的 9 个 字符 可 以 划分 成 三 组 ， 每 组 3 个 字符 (--- --- --- )。 第 一 组 的 3 个 字符 对 应 
用 户 权 限 〈 所 有 者 )， 第 二 组 对 应 用 户 组 权限 ， 第 三 组 对 应 其 他 用 户 权限 。 这 9 个 字符 〈 即 9 个 权 
限 ) 中 的 每 一 个 字符 指明 是 否 其 设置 了 某 种 权限 。 如 果 已 设置 ,对 应 位 置 上 会 出 现 一 个 字符 , 否 
则 出 现 一 个 -， 表 明 没 有 设置 对 应 的 权限 。 


有 3 种 常见 的 字符 。 


口 r (read ): 如 果 设置 ， 表明 该 文件 、 设 备 或 目录 可 读 。 

口 w (write ): 如 果 设置 ,表明 该 文件 、 设 备 或 目录 可 以 被 修改 。 对 于 目录 而 言 ， 此 权限 指 
定 了 是 否 可 以 在 目录 下 创建 或 删除 文件 。 

口 x (execute ): 如 果 设 置 ， 表 明 该 文件 可 执行 。 对 于 目录 而 言 ， 此 权限 指定 了 能 否 访问 
目录 下 的 文件 。 


让 我 们 来 看 一 下 每 组 权限 对 于 用 户 、 用 户 组 以 及 其 他 用 户 的 含义 。 
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口 用 户 (权限 序列 : rwx------ ): 定义 了 用 户 权 限 。 通 常 来 说 ， 对 于 数据 文件 ， 用 户 权 限 

是 rw-; 对 于 脚本 或 可 执行 文件 ,用户 权 限 是 zwx。 用 户 还 有 一 个 称 为 setuida (s ) 的 特 
殊 权 限 ， 它 出 现在 执行 权限 (x ) 的 位 置 。setuid 权 限 允 许可 执行 文件 以 其 拥有 者 的 权 
限 来 执行 ， 即 使 这 个 可 执行 文件 是 由 其 他 用 户 运行 的 。 具 有 setuid 权 限 文 件 的 权限 序列 
可 以 是 这 样 的 : -rws------ 6 

口 用 户 组 ( 权限 序列 ，---rwx--- ): 第 二 组 字符 指定 了 组 权限 。 组 权限 中 并 没有 setuia， 
但 是 有 一 个 setgia(S) 位 。 它 允许 使 用 与 可 执行 文件 所 属 组 权限 相同 的 有 效 组 来 运行 
该 文件 。 但 是 这 个 组 和 实际 发 起 命令 的 用 户 组 未 必 相 同 。 例 如 ， 组 权限 的 权限 序列 可 以 

































































是 这 样 的 : EWO===6 
口 其 他 用 户 (权限 序列 : ------ rwx ): 最 后 3 个 字符 是 其 他 用 户 权 限 。 如 果 设 置 了 相应 的 








权限 ,其 他 用 户 也 可 以 访问 特定 的 文件 或 目录 。 作 为 一 种 规则 , 通常 将 这 组 权限 设置 为 





目录 有 一 个 叫 作 粘 滞 位 ( sticky bit ) 的 特殊 权限 。 如 果 目 录 设 置 了 烙 滞 位 ， 只 有 创建 该 目录 
的 用 户 才能 删除 目录 中 的 文件 , 就 算 用 户 组 和 其 他 用 户 也 有 写 权限 , 仍 无 能 无 力 。 烙 滞 位 出 现在 
其 他 用 户 权 限 组 中 的 执行 权限 (x ) 位 置 。 它 使 用 t 或 ?来 表示 。 如 果 没 有 设置 执行 权限 ,但 设置 
了 粘 清 位 ， 就 使 用 T; 如果 同时 设置 了 执行 权限 和 烙 灌 位 ， 就 使 用 t。 例 如 : 














设置 目录 粘 滞 位 的 一 个 典型 例子 就 是 /tmp ， 也 就 是 说 任何 人 都 可 以 在 该 目录 中 创建 文件 ， 
但 只 有 文件 的 所 有 者 才能 删除 其 所 创建 的 文件 。 


在 1s -1 的 每 一 行 输出 中 ， 字 符 串 slynux users 分 别 对 应 用 户 和 用 户 组 。 在 这 里 ，slynux 
是 文件 所 有 者 ， 也 是 组 成 员 之 一 。 
3.5.1 ”实战 演练 

可 使 用 chmogd 命 令 设 置 文件 权限 。 

假设 需要 设置 权限 : rwx rw- r-。 

可 以 像 下 面 这 样 使 用 chmoa: 

$ chmod u=rwx g=rw o=r filename 
命令 中 用 到 的 选项 如 下 。 


口 u: 指定 用 户 权限 。 
口 g: 指定 用 户 组 权限 。 
口 o: 指定 其 他 用 户 权限 。 
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可 以 用 + 为 用 户 、 用 户 组 和 其 他 用 户 添加 权限 ， 用 -取消 权限 。 
为 已 经 具有 权限 rwx rw- r- 的 文件 添加 可 执行 权限 : 





$ chmod o+x filename 
该 命令 为 其 他 用 户 添 加 了 x 权限 。 
给 所 有 权限 类 别 ( 即 用 户 、 用 户 组 和 其 他 用 户 ) 添加 可 执行 权限 : 
$ chmod a+x filename 
其 中 ，a 表 示 全 部 (all )。 
如 果 需 要 删除 权限 ， 则 使 用 -， 例 如 : 








$ chmod a-x filename 


权限 也 可 以 使 用 3 位 八进制 数 来 表示 ， 每 一 位 按 顺 序 分 别 对 应 用 户 、 用 户 组 和 其 他 用 户 。 

















读 、 写 和 执行 权限 都 有 与 之 对 应 的 唯一 的 八进制 数 : 
Dr=4 
Dw=2 
Dx=1 





我 们 可 以 相 加 权限 对 应 的 八进制 值得 到 所 需 的 权限 组 合 。 例 如 : 


Drw-=4+2=56 
中 于-x; = 本 + 二 二 .5 


权限 rwx rw- r-- 的 数字 表示 形式 如 下 : 








加 于 Wi 三 述 和 入 “27 重重 二 "7 
Drw-=4+2=56 
== 三: 和 








因此 ，rwx rw- r-- 等 于 764， 那 么 使 用 八进制 值 设 置 权 限 的 命令 为 : 


$ chmod 764 filename 








3.5.2 ”补充 内 容 
让 我 们 再 看 一 些 其 他 有 关 文 件 和 目录 的 操作 。 
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1. 更 改 所 有 权 
可 以 使 用 chown 命 令 更 改 文件 或 目录 的 所 有 权 : 


$ chown user:group filename 


例如 : 


$ chown slynux:users test.sh I 
在 这 里 ，slynux 是 用 户 名 ，users 是 组 名 。 


证 








2. 设置 粘 滞 位 


粘 灌 位 可 以 应 用 于 目录 。 设 置 粘 滞 位 后 ， 只 有 目录 的 所 有 者 才能 够 删除 目录 中 的 文件 ， 即 使 
其 他 人 有 该 目录 的 写 权 限 也 无 法 执行 删除 操作 。 


可 以 使 用 chmoda 的 +t 选 项 设置 : 








$ chmod at+t directory name 


3. 以 递归 方式 设置 文件 权限 


有 时 候 需 要 以 递归 的 方式 修改 当前 目录 下 的 所 有 文件 和 子 目 录 的 权限 。chmodq 的 -R 选 项 能 够 
实现 这 种 需求 : 


$ chmod 777 . -R 
选项 -R 指 定 以 递归 的 方式 修改 权限 。 
我 们 用 .指定 当前 工作 目录 ， 这 等 同 于 : 
$ chmod 777 "$ (pwd)" -R 
4. 以 递归 的 方式 设置 所 有 权 
用 chown 命 令 的 -R 能 够 以 递归 的 方式 设置 所 有 权 : 





$ chown user:group . -R 
5. 以 不 同 的 身份 运行 可 执行 文件 (setuid) 


一 些 可 执行 文件 需要 以 另 一 种 身份 来 运行 。 例如, http 服 务 器 会 在 系统 启动 期 间 由 root 负 责 
运行 ， 但 是 该 进程 应 该 属于 用 户 httpda。setuigd 权 限 允 许 其 他 用 户 以 文件 所 有 者 的 身份 来 执 
行文 件 。 

首先 将 文件 的 所 有 权 更 改 为 需要 执行 该 文件 的 用 户 , 然后 以 该 用 户 的 身份 登录 。 运行 下 面 的 


命令 : 
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$ chmod +s executable file 

# chown root:root executable file 
# chmod +s executable file 

$ ./executable file 


现在 ， 无 论 是 谁 发 起 调用 ， 该 文件 都 是 以 root 用 户 的 吴 份 来 执行 。 


setuid 只 能 应 用 在 LinuxELF 格 式 的 二 进 制 文件 上 。 你 不 能 对 脚本 设置 setuid。 这 是 一 种 安 
全 特性 。 














3.6 将 文件 设置 为 不 可 修改 


在 所 有 的 Linux 文 件 系统 中 都 可 以 设置 读 、 写 、 可 执行 以 及 setuid 权 限 。 除 此 之 外 ， 扩 展 文 
件 系 统 ( 例如 ext2 、ext3 、ext4 ) 还 支持 其 他 属性 。 


其 中 一 种 扩展 属性 就 是 可 以 设置 不 可 修改 的 文件 。 一 旦 设置 ， 包 括 root 在 内 的 任何 用 户 都 无 
法 删除 该 文件 ， 除 非 撤销 其 不 可 修改 的 属性 。 可 以 利用 命令 af -了 或 是 通过 查看 /etc/mtab 文 件 来 
确定 文件 系统 的 类 型 。/etc/mtab 文 件 的 第 一 列 指定 了 分 区 设备 路 径 ( 例如 /dev/sda5 ), 第 三 列 指定 
了 文件 系统 类 型 ( 例如 ext3 )。 


不 可 修改 属性 是 避免 文件 被 算 改 的 安全 手段 之 一 。/etc/resolv.conf 文 件 就 是 这 样 的 一 个 例子 。 
该 文件 包含 了 一 组 DNS 服 务 器 列表 。DNS 服 务 器 负责 将 域名 ( 例如 packtpub.com ) 转换 成 IP 地 址 。 
它 通 常 被 设置 成 你 所 属 ISP 的 DNS 服 务 器 地 址 。 但 如 果 你 更 喜欢 使 用 第 三 方 的 DNS 服 务 器 ， 可 以 
修改 /etc/resolv.conf， 将 其 指向 所 选 的 服务 器 。 可 当下 次 你 再 连接 到 ISP 时 ，/etc/resolv.conf 又 会 恢 
复 到 之 前 的 设置 。 为 了 避免 这 种 情况 ， 需 要 将 /etc/resolv.conf 设置 成 不 可 修改 。 


在 这 则 攻略 中 ， 你 将 会 看 到 如 何 根据 需要 ， 将 文件 设置 为 不 可 修改 或 可 修改 状态 。 

















































































































3.6.1 预备 知识 


chattz 命 令 可 用 于 更 改 扩展 属性 。 它 能 够 将 文件 设置 为 不 可 修改 ， 也 可 以 修改 其 他 属性 来 
调节 文件 系统 同步 或 压缩 率 。 




















3.6.2 ”实战 演练 
通过 以 下 步骤 将 文件 设置 为 不 可 修改 。 
(1) 使 用 chatter 将 文件 设置 为 不 可 修改 : 


# chattr +i file 
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(2) 现在 文件 已 经 无 法 修改 了 。 来 试 试 下 面 的 命令 : 


rm file 
rm: cannot remove 'file': Operation not permitted 


(3) 如 果 需 要 使 文件 恢复 可 写 状 态 ， 撤 销 不 可 修改 属性 即 可 : 


chattr -i file 


























3.7 ”批量 生成 空白 文件 


脚本 在 应 用 于 实际 系统 之 前 必须 经 过 测试 ,我 们 可 能 需要 生成 大 量 文件 来 验证 是 否 存 在 内 存 
泄漏 或 是 进程 挂 起 等 问题 。 这 则 攻略 为 你 展示 了 如 何 生成 空白 文件 。 














3.7.1 预备 知识 
touch 命 令 可 以 用 来 生成 空白 文件 或 是 修改 已 有 文件 的 时 间 蕉 。 

















3.7.2 ”实战 演练 
通过 下 列 步骤 批量 生成 空白 文件 。 
(1) 调用 touch 命 令 并 使 用 一 个 不 存在 的 文件 名 作为 参数 ,创建 空白 文件 : 











$ touch filename 
(2) 批量 生成 不 同名 字 的 空白 文件 : 


for name in {1..100}.txt 
do 

touch $name 
done 


在 上 面 的 代码 中 ，{1. .100} 会 扩展 成 一 个 字符 串 1，2，3，4，5，6，7...100。 除 了 
{1. .100} .txt， 我 们 还 可 以 使 用 其 他 简写 样式 ， 比 如 test{1..200}.c、test{a..z}.txt 等 。 


如 果 文 件 已 经 存在 ,那么 couch 命 令 会 将 与 该 文件 相关 的 所 有 时 间 蕉 都 更 改 为 当前 时 间 。 如 
果 我 们 只 想 更 改 某 些 时 间 戳 ， 则 可 以 使 用 下 面 的 选项 。 


口 touch -a 只 更 改 文 件 访 问 时 间 。 
口 touch -m 只 更 改 文件 修改 时 间 。 


除了 将 时 间 惟 更改 为 当前 时 间 ， 我 们 还 能 够 指定 特定 的 时 间 和 日 期 : 


$ touch -d "Fri Jun 25 20:50:14 IST 1999" filename 
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-gd 使 用 的 日 期 串 不 需要 是 严格 的 格式 。 它 可 以 接受 多 种 短 格式 日 期 ,我 们 可 以 忽略 具体 时 间 ， 
使 用 Jan 20, 2010 这 种 格式 。 





3.8 查找 符号 链接 及 其 指向 目标 


符号 链接 在 类 Unix 系 统 中 很 常见 。 使 用 它 的 理由 有 很 多 , 要 么 是 为 了 便于 访问 , 要 么 是 为 了 
维护 同一 代码 库 或 程序 的 多 个 版 本 。 这 则 攻略 中 我 们 讨论 了 处 理 符号 链接 的 一 些 基 本 方法 。 

符号 链接 是 指向 其 他 文件 或 目录 的 指针 。 它 在 功能 上 类 似 于 Mac OS 中 的 别名 或 Windows 中 的 
快捷 方式 。 删 除 符号 链接 不 会 影响 到 原始 文件 。 



































3.8.1 ”实战 演练 
我 们 可 以 按照 下 面 的 步骤 来 处 理 符号 链接 。 
(1) 创建 符号 链接 : 
$ ln -s target symbolic link name 
例如 : 
$ ln -1 -s /var/www/ ~/web 
这 个 命令 在 当前 用 户 的 主 目 录 中 创建 了 一 个 名 为 Web 的 符号 链接 。 该 链接 指向 /Var/www。 
(2) 使 用 下 面 的 命令 来 验证 链接 是 否 已 建立 : 


$ 1s -1 web 
lrwxrwxrwx 1 slynux slynux 8 2010-06-25 21:34 web -> /var/www 








0 








web -> /var/www 表 明 web 指 向 /Var/www。 
(3) 打印 出 当前 目录 下 的 符号 链接 : 
$ 1s -1 | grep "^1" 
(4) 打印 出 当前 目录 及 其 子 目录 下 的 符号 链接 : 
$ find . -type 1 -print 
(5) 使 用 reaqlink 打 印 出 符号 链接 所 指向 的 目标 路 径 : 


$ readlink web 
/var/www 
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3.8.2 ”工作 原理 

在 使 用 grep 和 1s 显 示 当 前 目录 下 的 符号 链接 时 ，grep ^1 命 令 用 于 对 1s -1 的 输出 进行 过 
滤 ， 只 显示 那些 以 1 起 始 的 行 。^ 表 示 字 符 串 的 起 始 位 置 。 其 后 的 1 指定 了 字符 串 必 须 以 1 开头 ， 
这 标识 了 一 个 符号 链接 "。 

在 使 用 finq 时 ， 选 项 -type 1 告诉 finq 命 令 只 搜索 符号 链接 文件 。-print 选 项 将 符号 链接 
列表 打印 到 标准 输出 (staout )。 使 用 当前 目录 作为 搜索 起 始 路 径 。 





3.9 枚 举 文件 类 型 统计 信息 


Linux 支 持 很 多 文件 类 型 。 如 果 有 一 个 脚本 ， 它 能 够 遍历 目录 及 其 子 目 录 中 所 有 的 文件 ， 并 
生成 一 份 关于 文件 类 型 细节 以 及 每 种 文件 类 型 数量 的 报告 , 这 肯定 很 有 意思 。 这 则 攻略 将 教 你 编 
写 这 样 一 个 能 够 遍历 大 量 文件 并 收集 相关 细节 的 脚本 。 











3.9.1 预备 知识 

在 Unix/Linux 系 统 中 ， 文 件 类 型 并 不 是 由 文件 扩展 名 决定 的 (微软 的 Windows 操 作 系 统 是 这 
么 做 的 ) Unix/Linux 系 统 使 用 file 命 令 ， 通 过 检查 文件 内 容 来 确定 其 类 型 。 编 写 这 个 脚本 的 目 
的 是 从 多 个 文件 中 收集 文件 类 型 统计 信息 。 脚 本 利用 关联 数组 保存 同类 文件 的 数量 信息 。 






























































0 bash 在 版 本 4 中 才 开 始 支持 关联 数组 。 


3.9.2 ”实战 演练 
按照 以 下 步骤 来 枚 举 文件 类 型 统计 信息 。 
(1) 用 下 面 的 命令 打印 文件 类 型 信息 : 








$ file filename 


$ file /etc/passwd 
/etc/passwd: ASCII text 


(2) 打印 不 包括 文件 名 在 内 的 文件 类 型 信息 : 


$ file -b filename 
ASCII text 

















只 


Qa 该 方法 利用 了 这 样 一 个 事实 : 








个 符号 链接 的 权限 标记 块 ( 1rwxrwxrwx ) 均 以 字母 1 起 始 。 
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(3) 生成 文件 统计 信息 的 脚本 如 下 : 


!/bin/bash 
文件 名 : filestat.sh 


if [LS# -ne 1 ]; 

then 
echo "Usage is $0 basepath"; 
exit 

Ei 

path=$1 





declare -A statarray; 


while read line; 

do 
ftype= file -b "sline" | cut -d, -f1. 
let statarray["$ftype"]++; 


done < (find $path -type f -print) 





echo ============ File types and counts ============= 
for ftype in "$s{!statarray [@]}"; 
do 
echo Sftype : S${statarray["S$ftype"]} 
done 
(4) 用 法 如 下 : 
$ ./filestat.sh /home/slynux/temp 
(5) 输出 信息 如 下 : 


$ ./filetype.sh /home/slynux/programs 
============ File types and counts ============= 
Vim swap file : 1 

ELF 32-bit LSB executable : 6 

ASCII text : 2 

ASCII C program text : 10 


3.9.3 工作 原理 


该 脚本 依赖 于 关联 数组 statarray。 这 个 数组 用 文件 类 型 作为 数组 索引 : PDF 、ASCII.. 
每 个 索引 对 应 的 值 是 该 类 型 文件 的 数量 。 使 用 命令 declare -A statarray 定 义 关联 数组 。 


Wd 是 while 循 环 ， 负 责 处 理 find 命 令 的 输出 ; 男 一 个 是 for 循 环 ， 
| o 


while 循 环 的 形式 如 下 : 
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while read line; 
do something 
done < filename 


在 这 里 ， 我 们 没有 使 用 文件 ， 而 是 使 用 finq 命 令 的 输出 作为 while 的 输入 。 


(find $path -type f -print) 就 相当 于 上 面 的 flename (文件 名 )， 只 不 过 是 用 的 子 进 
程 的 输出 。 








注意 ， 第 一 个 < 用 于 输入 重 定向 ， 第 二 个 < 用 于 将 子 进程 的 输出 转换 成 相应 
0 的 flename (文件 名 )( 注 : 这 里 使 用 了 进程 蔡 换 )。 这 两 个 < 之 间 有 一 个 空格 ， 
因此 shell 并 不 会 将 其 解释 为 << 操 作 符 。 


finaq 命 令 使 用 选项 -type f 返 回 sSpath 所 定义 的 目录 下 的 文件 列表 。 ad 命令 一 次 读 取 
个 文件 名 。 当 read 接 收 到 EoF (文件 末尾 ) 时 ， 它 返回 假 ，while 命 令 退 出 。 


在 whi le 循环 中 , file 命 令 用 于 确定 文件 类 型 。-b 选 项 只 显示 出 文件 类 型 (不 包含 文件 名 )。 


file 命 令 能 够 提供 很 多 细节 信息 ， 比 如 图 像 编码 以 及 分 辩 率 (如果 是 图 像 文件 的 话 )。 各 种 
细节 信息 由 逗号 分 隔 ， 例 如 : 

$ file a.out -b 

ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), 


dynamically linked (uses shared libs), for GNU/Linux 2.6.15, not 
stripped 


我 们 只 需要 从 上 面 这 些 信 息 中 提取 ELF 32-bit LSB executable。 因 此 使 用 -a， 指 明 以 
逗号 作为 分 隔 符 ， 使 用 -fl1 选 择 第 一 个 字段 。 


<(find $path -type f -print) 等 同 于 文件 名 。 只 不 过 它 用 子 进 程 输出 来 代替 文件 名 。 
注意 ， 第 一 个 < 用 于 输入 重 定向 ， 第 二 个 < 用 于 将 子 进程 的 输出 转换 成 文件 名 。 在 两 个 < 之 间 有 一 
个 空格 ， 避 免 shell 将 其 解释 为 << 操 作 符 。 


在 Bash 3.x 及 更 高 的 版 本 中 ， 有 一 个 新 操作 符 <<<， 可 以 让 我 们 将 字符 串 作 为 输入 文件 。 利 
用 这 个 新 操作 符 ， 可 以 将 1oop 循 环 的 done 语 句 改 写成 : 















































done <<< "‘find $path -type f -print " 


s{!1statarray[@]} 用 于 返回 数组 的 索引 列表 。 


3.10 ”使 用 环 回 文件 


Linux 文 件 系 统 通常 存在 于 磁盘 或 记忆 棒 ( memory stick ) 这 种 设备 上 。 文 件 其 实 也 可 以 作为 
文件 系统 挂 载 。 这 种 存在 于 文件 中 的 文件 系统 ( filesystem-in-a-file ) 可 用 于 测试 、 文 件 系统 定制 
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或 者 是 作为 机 密 信息 的 加 密 盘 。 


3.10.1 ”实战 演练 
让 我 们 来 看 看 如 何在 大 小 为 1GB 的 文件 中 创建 ext4 文 件 系统 。 
(1) 使 用 aq 命令 创建 一 个 1GB 大 小 的 文件 : 


$ dd if=/dev/zero of=loobackfile.img bs=1G count=1 
1024+0 records in 

1024+0 records out 

1073741824 bytes (1.1 GB) copied, 37.3155 s, 28.8 MB/s 


你 会 发 现 创建 好 的 文件 大 小 超过 了 1GB。 这 是 因为 作为 块 设备 ， 硬 盘 是 按照 块 大 小 的 整 
数 倍 来 分 配 存储 空间 的 。 


(2) 用 mkfs 命 令 将 1GB 的 文件 格式 化 成 ext4 文 件 系统 : 





























$ mkfs .ext4 loopbackfile.img 
(3) 使 用 file 命 令 检查 文件 系统 : 


$ file loobackfile.img 

loobackfile.img: Linux rev 1.0 ext4 filesystem data, 
UUID=c9d56c42- 

f8e6-4cbd-aeab-369d5056660a (extents) (large files) (huge files) 


(4) 使 用 mkair 创 建 挂 载 点 并 挂 载 环 回 文件 : 


# mkdir /mnt/loopback 
# mount -o loop loopbackfile.img /mnt/loopback 


选项 -o。 loop 用 来 挂 载 环 回 文件 系统 。 


这 里 用 的 实际 上 是 一 种 快捷 方式 ， 可 以 将 环 回 文 件 系统 附加 到 〈 attach ) 由 操作 系统 选 定 
的 设备 上 ， 这 些 设备 的 名 称 类 似 于 /dev/1loopl1 或 /dev/1oop2。 


(5) 也 可 以 使 用 以 下 命令 来 指定 具体 的 环 回 设备 : 

















# losetup /dev/1Loop1 loopbackfile.img 
# mount /dev/loopl /mnt/loopback 


(0) 使 用 下 面 的 方法 进行 印 载 ( umount ): 
# umount mount point 
例如 : 


# umount /mnt/loopback 


3.10 ”使 用 环 回 文件 111 





(7) 也 可 以 用 设备 文件 的 路 径 作 为 umount 命 令 的 参数 : 


# umount /dev/loopl 


4 注意 ， 因 为 mount 和 umount 都 是 特权 命令 ， 所 以 必须 以 root 用 户 的 身份 来 
执行 。 


3.10.2 ”工作 原理 


我 们 必须 首先 使 用 aa 命令 生成 一 个 文件 来 创建 环 回 文 件 系统 。dq 是 一 个 用 于 复制 原始 数据 
(Craw data ) 的 通用 命令 。 它 将 数据 从 if 参数 所 指定 的 文件 复制 到 of 参数 所 指定 的 文件 中 。 我 们 
间 定 dd 复制 一 块 大 小 为 1GB 的 块 ， 这 样 就 创建 了 一 个 1GB 的 文件 。/dev/zero 是 一 个 特殊 的 文件 ， 
从 这 个 文件 中 读 出 的 内 容 都 是 0。 


然后 ， 使 用 mkfts . ext4 命 令 在 该 文件 中 创建 ext4 文 件 系统 。 设 备 上 必须 有 文件 系统 存在 才 
能 够 挂 载 。 常 用 的 文件 系统 包括 ext4 、ext3 和 vfat。 


最 后 , 我 们 使 用 mount 命 令 将 环 回 文件 挂 载 到 挂 载 点 上 (在 本 例 中 是 /mnt/loopback )。 挂 载 点 
使 得 用 户 可 以 访问 文件 系统 中 的 文件 。 在 执行 hount 命 令 之 前 ， 应 该 先 使 用 mkdir 命 令 创 建 挂 载 
点 。 选 项 -o 1oop 用 于 指明 要 挂 载 的 是 环 回 文件 ， 而 非 设 备 。 

当 mount 知 道 它 使 用 的 是 环 回 文件 时 ， 它 会 自动 在 /dev 中 建立 一 个 对 应 该 环 回 文件 的 设备 并 
将 其 挂 载 。 如 果 想 手动 操作 ， 可 以 使 用 1osetup 命 令 建 立 设备 ， 然 后 使 用 mount 命 令 挂 载 。 
















































































3.10.3 ”补充 内 容 
让 我 们 再 来 研究 一 下 使 用 环 回 文件 和 挂 载 的 其 他 用 法 。 
1. 在 环 回 镜像 中 创建 分 区 


假设 我 们 需要 创建 一 个 环 回 文 件 ， 然 后 对 其 分 区 并 挂 载 其 中 某 个 分 区 。 在 这 种 情况 下 ,， 没 法 
使 用 mount - o loop。 我 们 必须 手动 建立 设备 并 挂 载 分 区 。 


使 用 下 面 的 方法 对 文件 ( 内 容 全 部 填充 为 0 ) 进行 分 区 : 











# losetup /dev/1Loop1 Loopback .img 
# fdisk /dev/loopl 
faqisk 是 Linux 系 统 中 的 标准 分 区 工具 ， 在 http://www.tldp.org/HOWTO/ 
人 Partition/fdisk partitoning.html 处 可 以 找到 一 份 有 关 如 何 使 用 fdisk 创 建 分 区 的 
简明 教程 (记得 将 教程 中 的 /dewhdb 换 成 /dewloopl )。 
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在 loopback.img 中 创建 分 区 并 挂 载 第 一 个 分 区 : 

# losetup -o 32256 /dev/loop2 loopback.img 

/dev/loop2 表 示 第 一 个 分 区 ，-o 用 来 指定 偏 移 量 , 在 DOS 分 区 方案 "中 , 这 个 偏 移 量 是 32256。 
第 一 个 分 区 在 硬盘 上 起 始 于 32 256 字 节 处 。 

我 们 也 可 以 指定 所 需 的 偏 移 量 来 挂 载 第 二 个 分 区 。 完成 挂 载 之 后 , 就 可 以 像 在 物理 设备 上 一 
样 执行 所 有 日 常 操作 了 。 

2. 快速 挂 载 带 有 分 区 的 环 回 磁盘 镜像 

如 果 我 们 希望 挂 载 环 回 磁盘 镜像 中 的 分 区 ， 可 以 通过 参数 的 形式 将 分 区 偏 移 量 传递 给 
losetup 命 令 。 不 过 ， 有 一 个 更 快 的 方法 可 以 挂 载 镜 像 中 的 所 有 分 区 : kpartx。 该 命令 默认 并 
没有 安装 在 系统 中 ， 你 得 使 用 软件 包 管理 器 来 安装 : 





















































# kpartx -Vv -a diskimage.img 
add map loop0pl1 (252:0): 0 114688 linear /dev/loop0 8192 
add map loop0p2 (252:1): 0 15628288 linear /dev/loop0 122880 


这 条 命令 在 磁盘 镜像 的 分 区 与 /dev/mapper 中 的 设备 之 间 建 立 了 映射 ， 随 后 便 可 以 挂 载 这 些 设备 
了 。 下 列 命令 可 以 用 来 挂 载 第 一 个 分 区 ; 











# mount /dev/mapper/loop0pl1 /mnt/diskl1 


当 你 完成 设备 上 的 操作 后 ( 并 使 用 umount 凶 载 所 有 挂 载 过 的 分 区 ), 使 用 下 列 命令 移 除 映射 
关系 : 


# kpartx -d diskimage .img 
loop deleted : /dev/loop0 


3. 将 ISO 文件 作为 环 回 文件 挂 载 

ISO 文件 是 光学 存储 介质 的 归档 。 我 们 可 以 采用 挂 载 环 回 文件 的 方法 ， 像 挂 载 物理 光盘 一 样 
挂 载 ISO 文 件 。 

我 们 甚至 可 以 用 一 个 非 空 目录 作为 挂 载 路 径 。 在 设备 被 务 载 之 前 ,这 个 挂 载 路 径 中 包含 的 都 
是 来 自 该 设备 的 数据 ， 而 非 目录 中 的 原始 内 容 。 例 如 : 


# mkdir /mnt/iso 
# mount -o loop linux.iso /mnt/iso 


现在 就 可 以 对 /mnt/iso 中 的 文件 进行 操作 了 。ISO 是 一 个 只 读 文件 系统 。 




































































QD losetup 中 的 -o 32256 (512*63=32256) 用 于 设置 数据 偏 移 。 由 于 历史 原因 ,硬盘 第 一 个 扇 区 ( 512 字 节 ) 作 
为 MBR ( Master Boot Record， 主 引导 记录 )， 其 后 的 62 个 扇 区 作为 保留 肩 区 。 
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4. 使 用 sync 立 刻 应 用 更 改 


对 挂 载 设备 作出 的 更 改 并 不 会 被 立即 写 入 物理 设备 。 只 有 当 内 部 缓冲 区 被 写 满 之 后 才 会 回 写 
设备 。 我 们 可 以 用 sync 命 令 强 制 立刻 写 入 更 改 : 

















$ sync 


3.11 生成 ISO 及 混合 型 ISO 文件 


ISO 镜像 是 一 种 存档 格式 , 它 存储 了 如 CD-ROM、DVD-ROM 等 光盘 的 精准 镜像 。ISO 文 件 通 
常用 于 存储 待 刻录 的 数据 。 


在 本 节 中 ， 我 们 会 看 到 如 何 使 用 光盘 来 创建 能 够 以 环 回 设备 挂 载 的 ISO 文件 以 及 如 何 生成 可 
用 于 刻录 的 ISO 文件 。 


我 们 需要 区 分 可 引导 光盘 与 不 可 引导 光盘 。 可 引导 光盘 自身 具备 引导 能 力 , 也 可 以 运行 操作 
系统 或 其 他 软件 。 系 统 安装 盘 和 Live 系 统 ( 如 Knoppix 和 Puppy ) 都 属于 可 引导 光盘 。 


不 可 引导 光盘 则 做 不 到 这 些 。 升 级 盘 和 源 代码 DVD 都 属于 不 可 引导 光盘 。 



























































注意 ,将 可 引导 光盘 中 的 内 容 复制 到 另 一 张 光盘 上 并 不 足以 生成 一 张 新 的 可 
引导 光盘 。 要 想 保留 光盘 的 可 引导 性 ， 应 该 使 用 ISO 文件 将 其 保存 为 磁盘 镜像 。 


现在 很 多 人 使 用 内 存 作为 光盘 的 代替 品 。 当 我 们 将 一 个 可 引导 的 ISO 文件 写 入 闪存 后 ， 它 却 
再 也 无 法 引导 了 ， 除 非 我 们 使 用 一 种 专门 为 此 设计 的 混合 ISO 镜像 。 


这 则 攻略 将 带 你 认识 ISO 镜像 及 其 处 理 方法 。 











3.11.1 ”预备 知识 


我 们 之 前 提 到 过 ，Unix 将 一 切 都 作为 文件 来 处 理 。 所 有 的 设备 都 是 文件 。 因 此 ， 如 果 你 想 复 
制 设备 的 精准 镜像 , 需要 从 中 读 出 所 有 的 数据 并 将 其 写 入 另外 一 个 文件 。 光驱 对 应 的 设备 文件 位 
于 目录 /dev 中 ， 甚 名称 如 /dewcdrom、/devwdvd， 或 者 也 可 能 是 /devwsd0。 在 访问 形 如 sqx 的 设备 时 
得 留心 。 多 种 设备 的 名 字 都 是 以 sa 开头 。 比 如 说 ， 你 的 硬盘 也 许 是 sa0，CD-ROM 是 sql 。 


cat 命 令 可 以 用 来 读 取 任何 数据 , 重 定 向 可 以 将 读 出 的 数据 写 入 文件。 这 样 做 当然 没有 问题 ， 
不 过 我 们 还 有 更 好 的 方法 。 





















































3.11.2 “实战 演练 
用 下 面 的 命令 从 /dewcdrom 创 建 一 个 ISO 镜像 ; 
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# cat /dev/cdrom > image.iso 


尽管 可 以 奏效 ， 但 创建 ISO 镜像 最 好 的 方法 还 是 使 用 aq 命令 





# dd if=/dev/cdrom of=image.iso 


mkisofs 命 令 可 以 创建 1ISO 镜 像 文 件 , 该 命令 生成 的 输出 文件 能 够 被 cdqrecord 这 类 实用 工具 
刻录 到 CD-ROM 或 DVD-ROM。 我 们 需要 将 所 有 文件 放 和 人 同一 个 目录 中 ， 然 后 用 mkisofs 命 令 将 
整个 目录 中 的 内 容 写 入 ISO 文件 : 





$ mkisofs -V "Label" -o image.iso source dir/ 


其 中 选项 -o 指 定 了 ISO 文 件 的 路 径 。source_dir 是 作为 SO 文件 内 容 来 源 的 目录 路 人 径 ， 选 项 -Vv 
肯定 了 ISO 文 件 的 卷 标 。 




















3.11.3 ”补充 内 容 
让 我 们 继续 学 习 一 些 ISO 文 件 相 关 的 命令 和 技巧 。 
1. 能 够 启动 闪存 或 硬盘 的 混合 型 ISO 


通常 无 法 通过 将 可 引导 的 ISO 文件 写 人 USB 存 储 设备 来 创建 可 引导 的 U 盘 。 但 是 有 一 种 被 称 
为 “混合 ISO” 的 特殊 ISO 文件 可 以 实现 这 一 点 。 


我 们 可 以 用 isonybrid 命 令 把 标准 ISO 文 件 转换 成 混合 I SO。isonybrid 是 一 个 比较 新 的 实 
用 工具 ， 尚 未 包含 在 大 多 数 的 Linux 发 行 版 中 。 你 可 以 从 http://www.syslinux.org 下 载 syslinux 软 件 
包 ， 也 可 以 使 用 yum 或 apt -get 获 取 syslinux-utils 6 


下 面 的 命令 能 够 制作 出 可 引导 的 ISO 文 件 : 
# isohybrid image.iso 


这 个 混合 型 I SO 文件 可 用 于 写 和 USB 存储 设备 。 
将 该 ISO 写 和 USB 存储 设备 : 
# dd if=image.iso of=/dev/sdbl 


你 可 以 用 相应 的 设备 代替 /devwsdb1， 或 者 使 用 cat 命 令 












































# cat :image.iso >> /dev/sdbl 
2. 用 命令 行 刻录 ISO 
cdrecorg 命 令 可 以 将 ISO 文 件 刻 入 CD-ROM 或 DVD-ROM。 


使 用 下 列 命令 刻录 CD-ROM : 
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# cdrecord -Vv dev=/dev/cdrom image.iso 
还 有 一 些 其 他 的 选项 ， 如 下 所 示 。 
口 使 用 -speed 选 项 指定 刻录 速度 : 

-speed SPEED 

例如 : 


# cdrecord -Vv dev=/dev/cdrom image.iso -speed 8 


参数 8 表明 其 刻录 速度 为 gx。 


口 刻录 CD-ROM 时 也 可 以 采用 多 区 段 ( multi-session ) 方式 ， 


刻录 数据 。 多 区 段 刻 录 需 要 使 用 -multi 选 项 : 

# cdrecord -v dev=/dev/cdrom image.iso -multi 
3. 玩 转 CD-ROM 托 盘 
如 果 你 用 的 是 桌面 电脑 ， 不 妨 试 试 下 面 的 命令 来 找 点 乐子 。 
$ eject 


这 个 命令 可 以 弹出 光驱 托盘 。 



































$ eject -t 


这 个 命令 可 以 合 上 光驱 托盘 。 


不 妨 试 着 写 一 个 可 以 让 托盘 重复 开 合 z 次 的 循环 吧 。 可 千 万 别 趁 你 的 同事 外 出 喝 咖啡 时 刘 
段 代 码 放 入 他 们 的 .bashrc 中 。 
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这 样 就 能 在 一 张 光 盘 上 分 多 次 

















几 


当 文 件 存在 多 个 版 本 时 , 如 果 能 够 重点 标记 出 这 些 版 本 之 间 的 不 同 而 无 须 通 过 人 工 查看 来 比 


较 , 那 就 简直 是 太 棒 了 。 这 则 攻略 为 你 演示 如 何 生成 文件 之 间 的 差异 对 比 。 当 多 名 开发 人 员 共 事 
时 ， 某 个 人 对 于 文件 的 修改 必须 告知 其 他 人 。 要 是 发 送 整个 源 代码 的 话 ， 可 是 一 件 耗 时 的 活 儿 。 
这 时 ,发送 一 个 差异 文件 就 显得 很 有 用 了 ， 因为 该 文件 中 只 包含 那些 被 修改 、 添 加 或 删除 的 行 以 
及 行 号 。 这 种 差异 文件 叫 作 修补 文件 (patch file ) 我 们 可 以 月 
更 信息 应 用 到 原始 文件 ， 也 可 以 再 次 进行 修补 来 撤销 变更 。 











3.12.1 ”实战 演练 


diff 命 令 可 以 生成 两 个 文件 之 间 的 差异 对 比 。 





Hpatch 命 令 将 修补 文件 中 包含 的 变 
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(1) 


(2) 


(3) 


(4) 


先 创建 下 列 用 于 演示 的 文件 。 


文件 1: version1.txt 


this is the original text 
line2 

line3 

line4 

happy hacking |! 


文件 2: version2.txt 


this is the original text 
line2 

line4 

happy hacking |! 

GNU is not UNIX 


非 一 体 化 (nonunified ) 形式 的 aifft 输 出 (不 使 用 -u 选 项 ) 如 下 : 








$ diff versionl.txt version2.txt 
3d2 

<line3 

6c5 

> GNU is not UNIX 


一 体 化 形式 的 aiff 输 出 如 下 : 


$ diff -u versionl.txt version2.txt 

--- Vversionl.txt 2010-06-27 10:26:54.384884455 +0530 
+++ Version2.txt 2010-06-27 10:27:28.782140889 +0530 
@@ -1,5 +1,5 @@ 

this is the original text 

line2 

-line3 

line4 

happy hacking ! 


+GNU is not UNIX 


选项 -u 用 于 生成 一 体 化 输出 。 因 为 一 体 化 输出 的 可 读 性 更 好 ， 更 易于 看 出 两 个 文件 之 间 
的 差异 ， 所 以 人 们 往往 更 喜欢 这 种 输出 形式 。 


在 一 体 化 aiff 输 出 中 ， 以 + 起 始 的 是 新 加 入 的 行 ， 以 -起 始 的 是 被 删除 的 行 。 
修补 文件 可 以 通过 将 aiff 的 输出 重 定向 到 一 个 文件 来 生成 : 














$ diff -u versionl.txt Version2 .txt > version.patch 


现在 就 可 以 用 patch 命 令 将 变更 应 用 于 其 中 任意 一 个 文件 。 当 应 用 于 version1.txt 时 , 就 可 
以 得 到 version2.txt; 而 当 应 用 于 version2.txt 时 ， 就 得 到 了 version1.txt。 
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(5) 用 下 列 命令 来 进行 修补 : 


$ patch -pl versionl.txt < version.patch 
patching file versionl.txt 


version1.txt 的 内 容 现 在 和 version 2.txt 一 模 一 样 了 。 


(6) 下 列 命令 可 以 撤销 作出 的 变更 : 


$ patch -pl versionl.txt < version.patch = 


patching file versionl.txt 

Reversed (or previously applied) patch detected! Assume -R? [n] y 

# 变更 被 撤销 

如 上 例 所 示 ， 对 已 修补 过 的 文件 再 修补 将 撤销 作出 的 变更 。 如 果 使 用 patch 命 令 的 -R 选 
项 ， 则 不 会 提示 用 户 y/n。 




















3.12.2 ”补充 内 容 
让 我 们 再 看 一 些 ai ff 的 其 他 特性 。 
生成 目录 的 差异 信息 
diff 命 令 也 能 够 以 递归 的 形式 处 理 目录 。 它 会 对 目录 中 的 所 有 内 容 生 成 差异 对 比 。 使 用 下 


面 的 命令 : 








$ diff -Naur directory1 directory2 
该 命令 中 出 现 的 选项 含义 如 下 。 


口 -N: 将 缺失 的 文件 视 为 空 文件 。 
口 -a: 将 所 有 文件 视 为 文本 文件 。 
口 -u: 生成 一 体 化 输出 。 

口 -r: 递归 遍历 目录 下 的 所 有 文件 。 





3.13 ”使 用 head 与 tail 打印 文件 的 前 10 行 和 后 10 行 


cat 命 令 并 不 适合 查看 上 千 行 的 大 文件 ， 因 为 它 会 把 整个 文件 内 容 全 部 给 打印 出 来 。 相 反 ， 
我 们 只 想 查 看 文件 的 一 小 部 分 内 容 ( 例如 文件 的 前 10 行 或 后 10 行 ) 有 时 候 可 能 是 文件 的 前 n 行 或 
后 n 行 ， 也 可 能 是 除了 前 n 行 或 后 n 行 之 外 所 有 的 行 ， 亦 或 是 第 m 行 至 第 n 行 。 


nead 和 tail 命 令 可 以 帮助 我 们 实现 这 些 需 求 。 
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实战 演练 
heag 命 令 总 是 读 取 输入 文件 的 起 始 部 分 。 


(1) 打印 前 10 行 : 

















$ head file 
CO) 从 stain 读 取 数 据 : 

$ cat text | head 
(3) 指定 打印 前 几 行 : 

$ head -n 4 file 

该 命令 会 打印 出 文件 的 前 4 行 。 
(4) 打印 除了 最 后 M 行 之 外 所 有 的 行 : 


$ head -n -M file 


ei 注意 ， 这 里 的 _M 表 示 的 是 负数 ， 并 非 选 项 。 





例如 ， 用 下 面 的 命令 可 以 打印 出 除 最 后 5 行 之 外 的 所 有 行 : 


seq 11 | head -n -5 


$ seq 100 | head -n 5 


(5) 打印 除 最 后 几 行 之 外 的 其 他 行 是 nead 的 一 种 常见 用 法 。 在 检查 日 志文 件 时 
查看 最 近 ( 也 就 是 最 后 ) 的 若干 行 。 


(6) 打印 文件 的 最 后 10 行 : 








$ tail file 
(7) 从 stain 中 读 取 输入 : 


$ cat text | tail 


， 我 们 通常 要 
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(8) 打印 最 后 5 行 : 
$ tail -n 5 file 
(9) 打印 除了 前 M 行 之 外 所 有 的 行 : 
$ tail -n +(M+1) 

例如 ， 打 印 除 前 5 行 之 外 的 所 有 行 ，M+1=6， 因 此 使 用 下 列 命 令 : 

$ seq 100 | tail -n +6 
这 条 命令 将 打印 出 第 6 行 至 第 100 行 。 

tail 命 令 的 一 个 常见 用 法 是 监视 一 个 内 容 不 断 增加 的 文件 ( 例如 系统 日 志文 件 ) 中 出 现 的 
新 行 。 因 为 新 增加 的 行 都 是 出 现在 文件 的 尾部 ， 可 以 在 其 被 写 人 的 时 候 ， 使 用 rail 将 这 些 行 显 
示 出 来 。 为 了 能 够 监视 文件 的 增长 ，tail 有 一 个 特殊 的 选项 -f 或 --fo11ow， 人 允许 tail 关 注 文 
件 内 容 的 更 新 并 将 其 显示 出 来 : 

$ tail -f growing file 

你 可 能 希望 将 该 命令 用 于 日 志文 件 。 监 视 文件 内 容 增 加 的 命令 如 下 : 

# tail -f /var/log/messages 
或 者 

$ dmesg | tail -f 

dmesg 可 以 查看 内 核 的 环形 缓冲 区 消息 。 我 们 通常 使 用 该 命令 调试 USB 设 备 、 检 查 磁盘 操作 
或 是 监视 网 络 连 接 性 。-f 还 可 以 加 入 一 个 睡眠 间隔 -s， 这 样 我 们 就 可 以 设置 监视 文件 更 新 的 时 
间 间 隔 了 。 

可 以 设置 cail 在 指定 进程 结束 后 随 之 结束 运行 。 

假设 进程 Foo 在 向 一 个 我 们 正在 监视 的 文件 中 追加 数据 。 那 么 cail -f 应 该 一 直 执 行 到 进程 
Foo 结 束 。 


$ PID=$ (pidof Foo) 
$ tail -f file --pid $PID 


当 进 程 Foo 结 束 之 后 ， tail 也 会 跟着 结束 。 
让 我 们 实际 演练 一 下 。 


(1) 创建 一 个 新 文件 file.txt， 使 用 你 惯用 的 文本 编辑 器 打开 这 个 文件 。 
(2) 现在 运行 下 列 命 令 : 


$ PID=$ (pidof gedit) 
$ tail -f file.txt --pid $PID 
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(3) 向 文件 添加 新 行 并 不 断 地 保存 文件 。 


当 你 更 新 文件 时 ， 新 添加 的 内 容 都 会 被 fail 命 令 写 人 终端 。 关 闭 文本 编辑 器 后 ，tail 命 令 
也 会 随 之 结束 。 





3.14 ”只 列 出 目录 的 各 种 方法 
用 脚本 只 列 出 目录 不 是 件 容 易 事 。 这 则 攻略 介绍 了 多 种 只 列 出 目录 的 方法 。 











3.14.1 ”预备 知识 


有 很 多 种 方法 可 以 只 列 出 目录 。aqaiz 类 似 于 1s， 但 选项 更 少 。 另 外 也 可 以 使 用 1s 和 find 来 
列 出 目录 。 








3.14.2 实战 演练 
可 以 依据 下 列 方法 列 出 当前 路 径 下 的 目录 。 
(1) 使 用 1s -a: 
$ 1s -Q */ 
(2) 使 用 grep 结 合 1s -F: 
$ 18 -F | grep "/$" 
(3) 使 用 grep 结 合 1s -1: 
$ 1s -1 | grep "‘^d" 
(4) 使 用 fina: 


$ find . -type d -maxdepth 1 -print 


3.14.3 ”工作 原理 


当 使 用 1s 的 -F 选 项 时 ， 所 有 的 输出 项 后 面 都 会 多 出 一 个 代表 文件 类 型 的 字符 ， 如 @、*、 
等 。 目 录 对 应 的 是 /字符 。 我 们 用 grep 只 过 滤 那 些 行 尾 标记 为 /$s 的 输出 项 。 

1s -1 输出 的 每 一 行 的 首 字 符 表示 文件 类 型 。 目 录 的 文件 类 型 字符 是 9a。 因此 我 们 用 grep 过 
滤 以 gd 起 始 的 行 。^ 是 行 首 标记 。 

使 用 fing 命 令 的 时 候 可 以 指定 -type 的 参数 为 a 并 将 maxdepth 设 置 成 1， 这 是 因为 我 们 不 需 
要 继续 向 下 搜索 子 目 录 。 




















慌 
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3.15 ”在 命令 行 中 使 用 pushda 和 popd 实现 快速 定位 


如 果 需 要 在 文件 系统 的 多 个 位 置 上 切换 时 ， 惯 常 的 实践 就 是 复制 并 粘贴 路 径 ， 然 后 使 用 ca 
命令 。 但 当 涉 及 位 置 不 止 一 个 的 时 候 ， 这 种 方法 的 效率 并 不 高 。 如 果 需 要 在 位 置 之 间 来 回 切换 ， 
时 间 都 耗费 在 输入 或 粘贴 路 径 上 了 。Bash 和 其 他 shell 都 支持 使 用 pusha 和 popd 命 令 切 换 目 录 。 





























3.15.1 ”预备 知识 


pushd 和 popq 可 以 用 于 在 多 个 目录 之 间 切 换 而 无 需 重新 输入 目录 路 径 。 这 两 个 命令 会 创建 一 
个 路 径 栈 ， 它 是 一 个 保存 了 已 访问 目录 的 LIFO 列 表 (LastInFirstOut， 后 进 先 出 )。 























3.15.2 ”实战 演练 
可 以 使 用 pushda 和 popq 来 代替 cq 命令 。 
(1) 压 入 并 切换 路 径 : 
~ $ pushd /var/www 
现在 栈 中 包含 /var/www ~， 当 前 目录 为 /Var/www。 


(2) 再 压 人 下 一 个 目录 路 径 : 











/var/www $ pushd /usr/src 


现在 栈 中 包含 /usr/src /Var/www ~， 当 前 目录 为 /usrsrc。 


你 可 以 根据 需要 压 人 更 多 的 目录 路 径 。 











(3) 查看 栈 的 内 容 : 
$ dirs 
/usr/src /var/www ~ /usr/share /etc 
0 1 2 3 4 





(4) 当 你 想 切 换 到 栈 中 任意 一 个 路 径 时 ， 将 每 条 路 径 从 0 编号 到 n， 然 后 使 用 你 希望 切换 到 的 
路 径 编 号 。 例 如 : 


$ pushd +3 

这 条 命令 会 将 栈 进行 翻转 并 切换 到 目录 /usrshare。 

pushd 总 是 向 栈 中 添加 路 径 。 如 果 要 从 栈 中 删除 路 径 ， 可 以 使 用 popda。 
(5) 删除 最 近 压 入 的 路 径 并 切换 到 下 一 个 目录 : 























$ popd 
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假设 现在 栈 包 含 /usrsrc /varwww ~ /usr/share /etc， 当 前 目录 是 /usrsrc，popd 会 将 栈 更 
改 为 /varwww ~ /usr/share /etc， 然 后 把 当前 目录 切换 至 /var/www。 











(6) 用 popa +num 可 以 从 栈 中 移 除 特定 的 路 径 。num 是 从 左 到 右 、 从 0 到 a 开始 计数 的 。 


3.15.3 ”补充 内 容 
让 我 们 再 进行 一 些 基本 的 目录 定位 练习 。 





当 涉 及 3 个 以 上 的 目录 时 ，pushda 和 popa 就 可 以 发 挥 作用 了 。 但 是 如 果 只 涉及 两 个 位 置 ， 还 
有 男 一 个 更 简便 的 方法 : ca -。 

















假设 当前 路 径 是 /Var/www， 执 行 下 面 的 命令 : 


/Var/www $ cd /usr/src 
/usr/src $ # 做 点 什么 


现在 要 切换 回 /varwww， 不 需要 再 输入 /varwww 了 ， 只 执行 : 
/usr/src $ cd - 
你 还 可 以 再 切换 到 /usrsrc: 


/Var/www $ cd - 


3.16 ”统计 文件 的 行 数 、 单 词 数 和 字符 数 

我 们 经 常 需要 统计 文件 的 行 数 、 单 词 数 和 字符 数 。 很 多 时 候 , 这 种 统计 结果 被 用 于 生成 所 需 
要 的 输出 。 本 书 的 其 他 章节 就 包含 了 这 样 一 些 富有 技巧 性 的 实例 。 对 开发 人 员 来 说 ,统计 代码 行 
数 (LOC，Lines of Code ) 是 一 件 经 常 要 做 的 工作 。 我 们 可 能 需要 对 特定 类 型 的 文件 进行 统计 ， 
例如 不 包括 目标 文件 在 内 的 源 代码 文件 。wc 结 合 其 他 命令 就 可 以 帮助 我 们 实现 这 种 需求 。 
































wc 是 一 个 用 于 统计 行 、 单 词 和 字符 数量 的 实用 工具 。 它 是 Word Count ( 单词 计数 ) 的 缩写 。 





实战 演练 
wc 支持 多 种 选项 来 统计 行 数 、 单 词 数 和 字符 数 。 
(1) 统计 行 数 : 


$ wc -1 file 
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(2) 如 果 需 要 将 stdin 作 为 输入 ， 使 用 下 列 命令 : 
$ cat file | wc -1 
(3) 统计 单词 数 : 


$ wc -w file 
$ cat file | wc -w 


(4) 统计 字符 数 : 


$ wc -c file 
$ cat file | we -c 


我 们 可 以 按照 下 面 的 方法 统计 文本 中 的 字符 数 : 


echo -n 1234 | we -c 
4 


-n 用 于 避免 echo 添 加 额外 的 换行 符 。 
(5) 不 使 用 任何 选项 时 ，wc 会 打印 出 行 、 单 词 和 字符 的 数量 : 





$ wc file 
1435 15763 112200 


这 些 分 别 是 文件 的 行 数 、 单 词 数 和 字符 数 。 
(6) 使 用 -选项 打印 出 文件 中 最 长 一 行 的 长 度 : 


$ wc file -L 
205 





3.17 打印 目录 树 

将 目录 和 文件 系统 以 图 形 化 的 树 状 层次 结构 描述 会 使 其 更 为 形象 , 这 种 形式 也 被 一 些 监控 肢 
本 用 来 更 清晰 易 懂 地 呈现 文件 系统 。 
3.17.1 预备 知识 


tree 命 令 能 够 以 图 形 化 的 树 状 结构 打印 文件 和 目录 。Linux 发 行 版 中 通常 不 包含 这 个 命令 。 
你 需要 用 包 管理 絮 自 行 安装 。 

















3.17.2 ”实战 演练 
下 面 是 树 状 Unix 文 件 系统 的 一 个 示例 : 




















124 第 3 章 以 文件 之 名 





$ tree ~/unixfs 
unixfs/ 

1-- bin 

| 1-- cat 

| “~“-- 1s 

1-- etc 

| ~“-- passwd 

1-- home 

| 1-- pactpub 

| | 1-- automate .sh 
| | `-- Schedule 

| ~“-- slynux 

1-- opt 

1-- tmp 

~-- usr 

8 directories, 5 files 


tree 命 令 文 持 多 种 选项 。 
口 -P 选 项 可 以 只 显示 出 匹配 指定 模式 的 文件 : 
$ tree path -P PATTERN # 使 用 通配符 描述 模式 并 将 其 放 入 单 引号 中 
例如 : 
$ tree PATH -P ‘*.sh’ # 使 用 目录 路 径 替 换 PRTH 
1-- home 


| 1-- packtpub 
| | `-- automate .sh 


口 -I 选项 可 以 只 显示 出 不 匹配 指定 模式 的 文件 : 





$ tree path -I PATTERN 
口 -h 选 项 可 以 同时 打印 出 文件 和 目录 的 大 小 : 


$ tree -h 





3.17.3 ”补充 内 容 
tree 命 令 还 可 以 在 终端 中 生成 HTML 输 出 。 
生成 HTML 形 式 的 目录 树 
用 下 面 的 命令 可 以 生成 一 个 包含 目录 树 输出 的 HTML 文 件 : 





$ tree PATH -H http://localhost -o out.html 


将 http:/localhost 蔡 换 为 适合 存放 输出 文件 的 URL。 将 PATH 蔡 换 为 主 目录 的 真实 路 径 。 当 前 
目录 可 以 用 .作为 PATH。 





3.18 ”处 理 视频 与 图 像 文件 125 





根据 目录 列表 生成 的 Web 页 面 如 图 3-1 所 示 。 





File Edit View Go Bookmarks Settings Window Help 
个 一 中 了 | 全 /tmp/outhtml ~ 





Directory Tree 


http://Llocalhost 
L- 一 TcL-8.6 
bin 
base-tcl8.6-thread-linux-x86 64 
base-tcl8.6-thread-linux-x86 64.so 
base-tk8.6-thread-Linux-x86 64 





aniLabet .七 cL 
aniwave .七 cL 
arrow .七 CL 
bind .七 cL 
bitmap .七 cL 
browse 
button -七 CL 
check .七 cL 
CLrpick .七 cL 
COLors .七 CL 
COombo .七 CL 
cscroll.tcl 
ctext .tcl 














图 3-1 


3.18 ”处 理 视频 与 图 像 文件 


Linux 和 Unix 都 拥有 很 多 能 够 处 理 图 像 和 视频 文件 的 应 用 程序 和 工具 。 大 多 数 的 Linux 发 行 
中 都 包含 了 ImageMagick 套 件 ， 其 中 的 convert 程 序 可 用 于 处 理 图 像 。 像 kdenlive 和 openshot 这 种 全 
功能 的 视频 编辑 程序 都 是 构建 在 命令 行程 序 fftmpeg 和 mencoder 之 上 的 。 


convert 的 命令 选项 有 数 百 个 。 我 们 只 涉及 其 提取 部 分 图 像 的 功能 。 


ffmpeg 和 mencoder 的 命令 选项 和 功能 也 不 少 ， 足够 写 上 一 本 书 了 。 我 们 也 只 讲 几 个 简单 的 
用 法 。 


本 节 中 要 讲 到 几 个 与 图 像 和 视频 处 理 相关 的 攻略 。 

















3.18.1 预备 知识 


多 数 Linux 发 行 版 中 都 自 带 了 ImageMagick。 如 果 你 的 系统 中 没 安装 或 是 其 版 本 太 旧 , 可 以 到 
ImageMagick 的 网 站 : www.imagemagick.org， 按 照 上 面 给 出 的 步骤 下 载 并 安装 最 新 版 本 。 
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和 ImageMagick 一 样 ,很 多 Linux 发 行 版 中 也 已 经 包含 了 ffmpeg 和 mencodqer。 这 两 个 软件 的 
最 新 版 本 可 以 分 别 在 http://www.ffmpeg.org 和 http://www.mplayerhq.hu 上 找到 。 


构建 和 安装 视频 工具 可 能 需要 载 人 编码 器 以 及 其 他 的 辅助 文件 , 其 中 还 牵扯 到 扯 不 清 的 版 本 
依赖 问题 。 如 果 你 打算 使 用 Linux 系 统 作为 音频 /视频 编辑 平台 ， 最 简单 的 办 法 是 安装 专门 为 此 设 
计 的 发 行 版 ， 例 如 Ubuntu Studio。 


接着 是 一 些 常 见 的 音频 -视频 转换 的 实现 方法 。 
从 视频 文件 (mp4) 中 提取 音频 
MV 看 起 来 的 确 赏 心 习 目 ， 不 过 音乐 的 重点 还 是 在 于 “ 听 ”。 提 取 视 频 中 的 音频 并 不 难 。 












































3.18.2 ”实战 演练 


下 面 的 命令 能 够 将 mp4 视 频 文件 (FILE.mp4 ) 中 的 音频 部 分 提取 成 mp3 文 件 (OUTPUTFILE. 
mp3 ): 

ffmpeg -i FILE.mp4 -acodec libmp3lame OUTPUTFILE .mp3 

1. 使 用 一 组 静态 图 像 制作 视频 


很 多 数码 相机 都 支持 间隔 拍照 。 你 可 以 利用 这 一 特性 拍摄 延 时 摄影 ( time-lapse photography ) 
或 是 创建 定格 视频 ( stop-action video )。 在 www.cwflynt.com 上 就 有 一 些 这 样 的 作品 。 你 可 以 通过 
OpenSshot 视 频 编 辑 软件 或 是 在 命令 行 中 使 用 mencoder 将 一 组 静态 图 像 转换 成 视频 。 


(1) 实战 演练 


这 个 脚本 可 以 接受 一 组 图 片 ， 然 后 从 中 生成 一 段 MPEG 视 频 : 



































$ cat stills2mpg.sh 

echo $* | tr ' ' '\n' >files.txt 

mencoder mf://@files.txt -mf fps=24 -ovc lavc \ 
-lavcopts vcodec=msmpeg4v2 -noskip -o movie.mpg 


将 上 面 的 命令 复制 /粘贴 到 一 个 文件 中 ， 将 文件 命名 为 stills2mpg.sh， 设 置 可 执行 权限 ， 然 后 
按照 下 列 形式 调用 : 


./stills2mpg.sh filel.jpg file2.jpg file3.jpg ... 


或 者 








./stills2mpg.sh *.jpg 


(2) 工作 原理 
mencoder 命 令 要 求 输入 文件 采用 固定 的 格式 ， 一行 只 能 有 一 个 图 像 文件 名 。 脚 本 的 第 一 行 





3.18 ”处 理 视频 与 图 像 文件 127 





将 所 有 的 命令 行 参数 传 给 Er 命令 , 后 者 负责 将 作为 分 隔 符 的 空格 转换 为 换行 符 。 这样 就 将 单行 文 
件 列表 变 成 了 多 行文 件 列表 ( 一行 一 个 )。 


你 可 以 通过 设置 FPS (frames-per-second， 帧 速 ) 来 改变 视频 的 播放 速度 。 例 如 ， 将 FPS 修 改 
成 1 会 产生 幻灯 片 的 效果 ， 每 秒 钟 播放 一 帧 。 


2. 使 用 静态 照片 生成 平移 视频 


如 果 你 打算 制作 自己 的 视频 , 可 能 会 想 对 视频 中 的 某 些 风景 采用 平移 镜头 。 大 多 数 相机 都 可 230 
以 录制 视频 ,但 如 果 你 只 有 一 张 更 态 照片 ， 依 然 可 以 制作 平移 视频 。 


(1) 实战 演练 


相机 拍摄 的 照片 通常 要 比 视频 的 尺寸 更 大 (分辩 率 更 高 )。 你 可 以 使 用 convert 提 取 大 尺寸 
































照片 中 的 某 些 部 分 ， 然 后 使 用 mencoder 将 其 拼合 在 一 起 ， 形 成 平移 镜头 : 
$> makePan.sh 
# 调用 方法 : 
# sh makePan.sh OriginalImage.jpg prefix width height xoffset yoffset 
# 清除 旧 数 据 


rm -f tmpFiles 
# 创建 200 张 静态 图 片 ， 每 次 移动 Xoffset 和 yoffset 个 像素 
foro in ‘seq 1 200. 
do 
x=$[ $0o+$5 ] 
Convert -extract $3x$4+$x+$6 $1 $2_ $x.jpg 
echo $2_ $x.jpg >> tmpFiles 
done 
# 将 图 片 拼合 成 mpg 视 频 文件 
mencoder mf://@tmpFiles -mf fps=30 -ovc lavc -lavcopts \ 
Vvcodec=msmpeg4v2 -noskip -o $2.mpg 


(2) 工作 原理 

这 个 脚本 比 我 们 之 前 见 过 的 脚本 都 要 复杂 。 它 使 用 了 7 个 命令 行 参数 , 分 别 指定 了 输入 图 片 、 
输出 文件 前 级 、 临 时 图 片 的 宽度 和 高 度 以 及 原始 图 片 的 起 始 偏 移 。 

在 for 循 环 中 ， 脚 本 创建 了 一 组 图 片 并 将 其 文件 名 保存 在 名 为 tmpFiles 的 文件 中 。 最 后 ， 


使 用 mencoder 将 提取 出 的 图 片 合并 成 能 够 导入 视频 编辑 器 ( 如 kdenlive 或 OpenShot ) 的 MPEG 
视频 。 
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本 章 内 容 

口 使 用 正则 表达 式 口 打印 文件 或 行 中 的 第 n 个 单词 或 列 
口 使 用 grep 在 文件 中 搜索 文本 口 打印 指定 行 或 模式 之 间 的 文本 

口 使 用 cut 按 列 切 分 文件 口 以 逆序 形式 打印 行 

口 使 用 seq 替 换文 本 口 解析 文本 中 的 电子 邮件 地 址 和 URL 
口 使 用 awk 进 行 高 级 文本 处 理 口 删除 文件 中 包含 特定 单词 的 句子 

口 统计 特定 文件 中 的 词 频 口 对 目录 中 的 所 有 文件 进行 文本 替换 
口 压缩 或 解压 缩 JavaScript 口 文本 切片 与 参数 操作 

口 按 列 合并 多 个 文件 





4.1 简介 





shell 脚 本 语言 包含 了 众多 用 于 解决 Unix/Linux 系 统 问题 的 工具 , 其 中 有 不 少 和 文本 处 理 相关 ， 
包括 sed、awk、grep 和 cut， 这 些 工 具 可 以 相互 结合 以 满足 文本 处 理 需 求 。 


这 些 实用 工具 能 够 帮助 我 们 在 不 同 的 层面 上 处 理 文本 文件 ， 比 如 字符 、 行 、 单 词 、 行 列 等 。 


正则 表达 式 是 一 种 基础 的 模式 匹配 技术 。 大 多 数 文本 处 理工 具 都 支持 正则 表达 式 。 借 助 适合 
的 正则 表达 式 ， 我 们 可 以 对 文本 文件 执行 过 滤 、 和 剥离 〈strip )、 替 换 、 搜 索 等 操作 。 


本 章 包括 一 系列 攻略 ， 讲 解 了 多 个 文本 处 理 问 题 的 解决 方法 。 




















4.2 使 用 正则 表达 式 


正则 表达 式 是 基于 模式 匹配 的 文本 处 理 技术 的 关键 所 在 。 想 要 有 效 地 运用 正则 表达 式 ， 就 必 
须 对 其 有 一 个 基本 的 理解 。 
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会 用 1s 的 用 户 应 该 都 熟悉 通配符 模式 。 通配符 可 以 运用 在 很 多 场景 中 , 但 是 对 于 文本 处 理 而 
言 ， 功 能 还 远 远 不 够 。 正 则 表达 式 允 许 你 更 精细 地 描述 模式 。 
































[a-z0-9_]+ @[a-z0-9]+\.[a-z]+. 就 是 一 个 典型 的 能 够 匹配 电子 邮件 地 址 的 正则 表达 式 。 
看 起 来 有 点 怪异 是 吧 ? 别 担心 ， 跟 着 这 则 攻略 学 习 ， 你 就 会 发 现 它 其 实 很 简单 。 




















4.2.1 实战 演练 


正则 表达 式 是 由 字面 文本 和 具有 特殊 意义 的 符号 组 成 的 。 我 们 可 以 根据 需要 , 构造 出 适合 的 
正则 表达 式 来 匹配 任何 文本 。 正则 表达 式 是 很 多 工具 所 支持 的 基本 功能 。 本 节 将 为 你 讲解 正则 表 
达 式 ,但 不 会 介绍 其 所 涉及 的 Linux/Unix 工 具 。 这 些 工具 留待 随后 的 其 他 攻略 中 再 叙 。 


下 面 先 来 学 习 正 则 表达 式 的 规则 。 
1. 位 置 标记 


位 置 标记 锚 点 ( position marker anchor ) 是 标识 字符 串 位 置 的 正则 表达 式 。 默 认 情 况 下 ， 正 
则 表达 式 所 匹配 的 字符 可 以 出 现在 字符 串 中 任何 位 置 ， 见 表 4-1。 
























































表 4-1 
正则 表达 式 描述 示 例 
^ 章 定 了 匹配 正则 表达 式 的 文本 必须 起 始 于 字符 串 的 首部 ^tux 能 够 匹配 以 tux 起 始 的 行 
$ # 定 了 匹配 正则 表达 式 的 文本 必须 结束 于 目标 字符 串 的 尾部 tuxs 能 够 匹配 以 tux 结 尾 的 行 























2. 标识 符 


标识 符 是 正则 表达 式 的 基础 组 成 部 分 。 它 定义 了 那些 为 了 匹配 正则 表达 式 ， 必须 存 在 (或 不 
存在 ) 的 字符 ， 见 表 4-2。 














表 4-2 
正则 表达 式 描 述 示 例 
A 字符 正则 表达 式 必须 匹配 该 字符 A 能 够 匹配 字符 A 
匹配 任意 一 个 字符 Hack. 能 够 匹配 Hack1 和 Hacki， 但 是 不 能 匹配 Hack12 或 


Hackil， 它 只 能 匹配 单个 字符 
[] 匹配 中 括号 内 的 任意 一 个 字符 。 中 括号 内 ”coo[k1] 能 够 匹配 cook 或 cool, [0-9] 匹 配 任 意 单个 数字 
可 以 是 一 个 字符 组 或 字符 范围 


























[3 匹配 不 在 中 括号 内 的 任意 一 个 字符 。 中 括 ”9[^01] 能 够 匹配 92 和 93， 但 是 不 匹配 91 和 90; A[^0-9] 
号 内 可 以 是 一 个 字符 组 或 字符 范围 匹配 A 以 及 随后 除数 字 外 的 任意 单个 字符 




















3. 数量 修饰 符 


一 个 标识 符 可 以 出 现 一 次 、 多 次 或 是 不 出 现 。 数 量 修饰 符 定义 了 模式 可 以 出 现 的 次 数 ， 
见 表 4-3。 


























表 4-3 
正则 表达 式 描 述 示 例 
? 匹配 之 前 的 项 1 次 或 0 次 colou?r 能 够 匹配 color 或 colour, 但 是 不 能 匹配 colouur 
+ 匹配 之 前 的 项 1 次 或 多 次 Rollno-9+ 能 够 匹配 Rollno-99 和 Rollno-9, 但 是 不 能 匹配 Rollno- 
* 匹配 之 前 的 项 0 次 或 多 次 cox1 能 够 匹配 c1 、co1 和 coool 
{n} 匹配 之 前 的 项 n 次 [0-9] {3} 能 够 匹配 任意 的 三 位 数 ，[0-9] {3} 可 以 扩展 为 [0-9] [0-9] 
[0-9] 
{n,} 之 前 的 项 至 少 需 要 匹配 a 次 [0-9] {2,} 能 够 匹配 任意 一 个 两 位 或 更 多 位 的 数字 
{n,m} 之 前 的 项 所 必须 匹配 的 最 小 ”[0-9] {2,5} 能 够 匹配 两 位 数 到 五 位 数 之 间 的 任意 一 个 数字 
次 数 和 最 大 次 数 











表 4-4 
正则 表达 式 描 ” 述 示 例 
() 将 括号 中 的 内 容 视 为 一 个 整体 ma (tri)?x 能 够 匹配 max 或 matrix 
| 指定 了 一 种 选择 结构 ， 可 以 匹配 | 两 边 的 ”oct (1st | 2ndq) 能 够 匹配 oct 1st 或 oct 2na 
任意 一 项 
\ 转 义 字符 可 以 转 义 之 前 介绍 的 特殊 字符 a\ .b 能 够 匹配 a.b， 但 不 能 匹配 ajb。 因 为 \ 忽 略 了 .的 特 
殊 意 义 





正则 表达 式 的 更 多 细节 请 参考 : http:/www.linuxforu.com/2011/04/sed-explained-part-1/。 
5. 补充 内 容 

来 看 几 个 正则 表达 式 的 例子 。 

能 够 匹配 任意 单词 的 正则 表达 式 : 


( +[a-zA-Z]+ +) 





开头 的 + 表示 需要 匹配 一 个 或 多 个 空格 。 字 符 组 ta-zA-z] 用 于 匹配 所 有 的 大 小 写字 母 。 随 后 的 + 
表示 至 少 要 匹配 一 个 字母 ， 多 者 不 限 。 最 后 的 + 表示 需要 匹配 一 个 或 多 个 空格 来 终结 单词 。 











这 个 正则 表达 式 无 法 匹配 句子 末尾 的 单词 。 要 想 匹 配 句 尾 或 是 运 号 前 的 单 
(人 词 ， 需 要 将 正则 表达 式 改 写 为 : 


( +[a-zA-Z]+[?,.]? +) 
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[?，. ] ?表示 仅 需 要 匹配 问号 、 逗 号 或 点 号 中 的 一 个 。 
匹配 IP 地 址 很 容易 。 我 们 知道 IP 地 址 是 由 点 号 分 隔 的 4 组 三 位 数字 。 
[0-9] 表 示 匹 配 数 字 。{1,3} 表 示 至 少 一 位 数字 ， 至 多 三 位 数字 : 
[OQ (13 Ne LO) {LB Ne LO] {1 N00] L333 
或 者 也 可 以 使 用 [1 :digit:]] 表 示 数 字 : 
[tradigit {E33N Ldigie: {L333N LL dioit {LA3N: LLL:digit:ll {Ll.3} 


我 们 知道 他 地 址 是 由 点 号 分 隔 的 4 个 整数 ( 每 一 个 整数 的 取 值 范围 从 0 到 255 )， 例 如 
192.168.0.2。 





























这 个 正则 表达 式 可 以 匹配 文本 中 的 卫 地 址 ， 但 是 它 并 不 检查 地 址 的 合法 性 。 例 
如 ， 形 如 123.300.1.1 的 耳 地址 可 以 被 正则 表达 式 匹 配 ， 但 这 却 是 一 个 非法 的 耳 地 址 。 


4.2.2 工作 原理 
正则 表达 式 由 复杂 的 状态 机 解析 , 尝试 在 目标 文本 中 找 出 最 佳 匹配 ,文本 可 以 是 管道 的 输出 、 
文件 ,甚至 是 在 命令 行 中 输入 的 字符 串 。 正 则 表达 式 的 实现 方法 不 止 一 种 ， 其 实现 引擎 通常 会 选 
择 最 长 的 匹配 。 
例如 ， 对 于 字符 串 this is a test 和 正则 表达 式 s .*s， 匹 配 的 内 容 是 s is a tes, 而 
El 


























正则 表达 式 的 更 多 细节 请 参考 : http://www.linuxforu.com/2011/04/sed-explained-part-1/。 


4.2.3 ”补充 内 容 
前 面 的 多 个 表格 描述 了 正则 表达 式 中 特殊 字符 的 含义 。 
1. 处 理 特殊 字符 


正则 表达 式 用 $、^、. 、*、+、{ 以 及 } 等 作为 特殊 字符 。 但 是 如 果 我 们 希望 将 这 些 字符 作 
为 普通 字符 使 用 ， 应 该 怎么 做 呢 ? 来 看 一 个 正则 表达 式 : a. txt。 


该 正则 表达 式 能 够 匹配 字符 a， 然 后 是 任意 字符 ( 由 .负责 匹配 )， 接 着 是 字符 串 Ext。 但 是 
我 们 希望 .能够 匹配 字面 意义 上 的 .， 而 非 任 意 字符 。 因 此 需要 在 .之 前 加 上 一 个 反 斜 线 \、( 这 叫 
作 “ 字 符 转 义 ”)。 这 表明 正则 表达 式 希 望 匹 配 的 是 字面 含义 ,而 不 是 它 所 代表 的 特殊 含义 。 因 此， 
最 终 的 正则 表达 式 就 变 成 了 a\ .txt。 
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2. 可 视 化 正则 表达 式 


正则 表达 式 不 容易 理解 。 幸 好 有 一 些 将 正则 表达 式 进 行 可 视 化 的 工具 。 你 可 以 在 页 面 
http:/www:regexpercom 中 输入 正则 表达 式 ， 然 后 创建 出 一 副 图 示 来 帮助 你 理解 。 图 4-1 就 是 一 个 
简单 的 正则 表达 式 的 可 视 化 截图 。 


[a-z]+[a-z0-9]* 











4.3 使 用 grep 在 文件 中 搜索 文本 


如 果 你 忘记 把 钥匙 放 在 了 哪里 ， 就 得 自己 去 找 ; 如 果 你 忘记 了 文件 中 的 内 容 ，grep 命 令 可 
以 帮助 你 查找 。 这 则 攻略 将 教 你 如 何 定 位 包含 特定 文本 模式 的 文件 。 





4.3.1 ”实战 演练 
grep 命 令 作为 Unix 中 用 于 文本 搜索 的 神奇 工具 ， 能 够 接受 正则 表达 式 ， 生 成 各 种 格式 的 输出 。 





(在 stdin 中 搜索 匹配 特定 模式 的 文本 行 : 


$ echo -e "this is a word\nnext line" | grep word 
this is a word 


(2) 在 文件 中 搜索 匹配 特定 模式 的 文本 行 : 


$ grep pattern filename 
this is the line containing pattern 


或 者 


$ grep "pattern" filename 
this is the line containing pattern 
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(3) 在 多 个 文件 中 搜索 匹配 特定 模式 的 文本 行 : 
$ grep "match text" filel file2 file3 ... 


(4) 选项 --color 可 以 在 输出 行 中 着 重 标记 出 匹配 到 的 模式 。 尽 管 该 选项 在 命令 行 中 的 放置 
位 置 没有 强制 要 求 ， 不 过 惯常 作为 第 一 个 选项 出 现 : 


$ grep --color=auto word filename 
this is the line containing word 


(5) grep 命 令 默认 使 用 基础 正则 表达 式 。 这 是 先前 描述 的 正则 表达 式 的 一 个 子 集 。 选项 -E 可 以 
使 grep 使 用 扩展 正则 表达 式 。 也 可 以 使 用 默认 启用 扩展 正则 表达 式 的 egrep 命 令 : EE 























$ grep -E "[a-z]+" filename 
或 者 
$ egrep "[a-z]+" filename 

(6) 选项 -o 可 以 只 输出 匹配 到 的 文本 : 


$ echo this is a line. | egrep -o "[a-2z]+\." 
line 


(7) 选项 -v 可 以 打印 出 不 匹配 match_pattern 的 所 有 行 : 
$ grep -v match pattern file 
选项 -v 能 够 反 转 ( invert ) 匹配 结 
(8) 选项 -c 能 够 统计 出 匹配 模式 的 文本 行 数 : 


$ grep -c "text" filename 






































10 

需要 注意 的 是 -c 只 是 统计 匹配 行 的 数量 ， 并 不 是 匹配 的 次 数 。 例 如 : 
$ echo -e "1 2 3 4\nhello\n5 6" | egrep -c "[0-9]" 

2 





尽管 有 6 个 匹配 项 ， 但 egrep 命 令 只 输出 2， 这 是 因为 只 有 两 个 匹配 行 。 在 单行 中 出 现 的 
多 次 匹配 只 被 计 为 一 次 。 
(9) 要 统计 文件 中 匹配 项 的 数量 ， 可 以 使 用 下 面 的 技巧 : 


$ echo -e "1 2 3 4\nhello\n5 6" | egrep -o "[0-9]" | wc -1 
6 


(10) 选项 -n 可 以 打印 出 匹配 字符 串 所 在 行 的 行 号 


$ cat samplel .txt 
gnu is not unix 
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linux is fun 

bash is art 

$ cat sample2.txt 
planetlinux 

$ grep linux -n samplel.txt 
2:linux is fun 


或 者 
$ cat samplel.txt | grep linux -n 


如 果 涉 及 多 个 文件 ， 该 选项 也 会 随 输出 结果 打印 出 文件 名 : 








$ grep linux -n samplel.txt sample2 .txt 
samplel.txt:2:linux is fun 
sample2 .txt:2:planetlinux 


(11) 选项 -b 可 以 打印 出 匹配 出 现在 行 中 的 偏 移 。 配 合 选项 -o 可 以 打印 出 匹配 所 在 的 字符 或 
字 节 偏 移 : 





$ echo gnu is not unix | grep -b -o "not" 
7T:not 


字符 在 行 中 的 偏 移 是 从 0 开始 计数 ， 不 是 1。 
(12) 选项 -1 可 以 列 出 匹配 模式 所 在 的 文件 : 

















$ grep -1 linux samplel.txt sample2 .txt 
samplel .txt 
sample2 .txt 


和 -1 效果 相反 的 选项 是 -4L， 它 会 返回 一 个 不 匹配 的 文件 列表 。 


4.3.2 ”补充 内 容 


grep 命 令 是 Linux/Unix 系 统 中 最 为 全 能 的 命令 之 一 。 它 还 包括 其 他 一 些 选项 ,可 用 于 搜索 目 
录 、 选 择 待 搜索 的 文件 等 。 


1. 递归 搜索 多 个 文件 
如 果 需 要 在 多 级 目录 中 对 文本 进行 递归 搜索 ， 可 以 使 用 下 列 命 令 : 

















$ grep "text" . -R -n 
命令 中 的 .指定 了 当前 目录 。 例 如 : 


$ cd src dir 
$ grep "test function()" . -R -n 
./miscutils/test.c:16:test function(); 
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人 grep 的 选项 -R 和 -r 功 能 一 样 。 


test_function() 位 于 miscutils/test.c 的 第 16 行 。 如 果 你 要 在 网 站 或 源 代码 树 中 展开 
搜索 ， 选 项 -R 尤 其 有 用 。 它 等 价 于 下 列 命令 : 

$ find . -type E | xargs grep "test_function()" 

2. 忽略 模式 中 的 大 小 写 

选项 -i 可 以 在 匹配 模式 时 不 考虑 字符 的 大 小 写 : 














$ echo hello world | grep -i "HELLO" 
hello 


3. 使 用 grep 匹 配 多 个 模式 
选项 -e 可 以 指定 多 个 匹配 模式 : 


$ grep -e "patternl" -e "pattern2" 





上 述 命令 会 打印 出 匹配 任意 一 种 模式 的 行 ， 每 个 匹配 对 应 一 行 输出 。 例 如 : 
$ echo this is a line of text | grep -o -e "this" -e "line" 
this 
line 


可 以 将 多 个 模式 定义 在 文件 中 。 选 项 -f 可 以 读 取 文件 并 使 用 其 中 的 模式 (一 个 模式 一 行 ): 
$ grep -f pattern filesource filename 


例如 : 
$ cat pat_file 
hello 
cool 


$ echo hello this is cool | grep -f pat_ file 
hello this is cool 


4. 在 grep 搜 索 中 指定 或 排除 文件 
grep 可 以 在 搜索 过 程 中 使 用 通配符 指定 (include ) 或 排除 (exclude ) 某 些 文件 。 
使 用 --incluae 选 项 在 目录 中 递归 搜索 所 有 的 .c 和 .cpp 文件 : 


$ grep "main()" . -r --include *.{c,cpp} 
注意 ，some {string1,string2,string3}) 会 被 扩展 成 somestringl somestring2 


somestring3。 
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使 用 选项 --exclude 在 搜索 过 程 中 排除 所 有 的 READMI 





$ grep "main()" . 


选项 --exclude-dir 可 以 排除 目录 : 


$ grep main . 


如 果 需 要 从 文件 中 读 取 排除 文件 列表 ， 使 月 


5. 使 用 0 值 字 节 


-r -exclude-dir CVS 





后 缀 的 xargs 与 grep 








-r --exclude "README" 





有 --exclude-from FILE。 


ee 文件 : 





xargs 命 令 可 以 为 其 他 命令 提供 命令 行 参 数列 表 。 当 文件 名 作为 命令 行 参数 时 ， 建 议 用 0 值 
字 节 作为 文件 名 终结 符 , 而 非 空格 。 因 为 一 些 文件 名 中 会 包含 空格 字符 , 一 旦 它 被 误解 为 终结 符 ， 
那么 单个 文件 名 就 会 被 视 为 两 个 ( 例如，New file.txt 被 解析 成 New 和 file.txt 两 个 文件 名 )。 这 个 问 


题 可 以 利用 0 值 字 节 后 绥 来 避免 。 我 们 使 朋 











日 xargs 从 命令 ( 如 grep 和 fing ) 中 接收 stain 文 本 。 





这 些 命令 可 以 生成 带 有 0 值 字 节 后 绥 的 输出 。 为 了 指明 输入 中 的 文件 名 是 以 0 值 字 节 作 为 终结 ,， 需 
要 在 xargs 中 使 用 选项 -0。 


创建 测试 文件 : 


$ echo "test" 
$ echo "cool" 
$ echo "test" 


> filel 
> file2 
> file3 








选项 -1 告诉 grep 只 输出 有 匹配 出 现 的 文件 名 。 选 项 -z 使 得 grep 使 用 0 值 字 节 (0 ) 作为 文 
件 名 的 终结 符 。 这 两 个 选项 通常 都 是 配合 使 用 的 。xargs 的 -0 选项 会 使 用 0 值 字 节 作为 输入 的 分 


隔 符 : 




















$ grep "test" file* -12 | xargs -0 rm 


6. grep 的 静默 输出 


有 时 候 , 我 们 并 不 打算 查看 匹配 的 字符 串 ， 而 只 是 想 知 道 是 否 能 够 成 功 匹配 。 这 可 以 通过 设 
置 grep 的 静默 选项 ( -a ) 来 实现 。 在 静默 模式 中 ，grep 命 令 不 会 输出 任何 内 容 。 它 仅 是 运行 命 
令 ， 然 后 根据 命令 执行 成 功 与 否 返 回 退 出 状态 。0 表 示 匹 配 成 功 ， 非 0 表示 匹配 失败 。 


下 面 这 个 脚本 利用 grep 的 静默 模式 来 测试 文件 中 是 否 有 匹配 文本 : 








#!/bin/bash 











# 文件 名 : silent_grep.sh 
# 用 途 : 测试 文件 是 否 包 含 特定 的 文本 内 容 


IE [ S$# -ne 2 
echo "Usage: 
exit 1 

£1i 


J 


then 
$0 match text filename" 
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match_ text=$1 
filename=$2 
grep -q "$match text" $filename 


if [ $? -eq 0 ]; then 

echo "The text exists in the file" 
else 

echo "Text does not exist in the file" 
直人 





这 个 silent_grep.sh 脚 本 接受 两 个 命令 行 参数 : 一 个 是 需要 匹配 的 单词 ( Student )， 另 一 个 是 文 
件 名 (student data.txt ): 


$ ./silent grep.sh Student student data.txt 
The text exists in the file 


7. 打印 出 匹配 文本 之 前 或 之 后 的 行 


基于 上 下 文 的 打印 是 grep 的 一 个 挺 不 错 的 特性 。 当 grep 找 到 了 匹配 模式 的 行 时 ， 它 只 会 打 
印 出 这 一 行 。 但 我 们 也 许 需 要 匹配 行 之 前 或 之 后 的 n 行 。 这 可 以 通过 控制 选项 -B 和 -A 来 实现 。 


选项 -A 可 以 打印 匹配 结果 之 后 的 行 : 




















seq 10 | grep 5 -A 3 


$ 
5 
6 
7 
8 


选项 -B 可 以 打印 匹配 结果 之 前 的 行 : 
seq 10 | grep 5 -B 3 


$ 
2 
3 
4 
5 


选项 -A 和 -B 可 以 结合 使 用 ,或 者 也 可 以 使 用 选项 -c， 它 可 以 分 别 打印 出 匹配 结果 之 前 及 之 
后 的 n 行 : 





seq 10 | grep 5 -C 3 


$ 
2 
3 
4 
5 
6 
7 
8 





如 果 有 多 个 匹配 ， 那 么 使 用 -- 作 为 各 部 分 之 间 的 分 隔 : 
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$ echo -e "a\nb\nc\na\nb\nc" | grep a -A 1 
a 
b 


a 
b 


4.4 使 用 cut 按 列 切 分 文件 


cut 命 令 可 以 按 列 ， 而 不 是 按 行 来 切 分 文件 。 该 命令 可 用 于 处 理 使 用 固定 宽度 字段 的 文件 、 
CSV 文 件 或 是 由 空格 分 隔 的 文件 〈 例如 标准 日 志文 件 



































AM/ 


o 


4.4.1 实战 演练 


cut 命 令 能 够 提取 指定 位 置 或 列 之 间 的 字符 。 你 可 以 指定 每 列 的 分 隔 符 。 在 cut 的 术语 中 ， 
每 列 被 称 为 一 个 字段 。 


(1) 选项 -f 可 以 指定 要 提取 的 字段 : 





cut -f FIELD LIST filename 


FIELD_LIST 是 需要 显示 的 列 。 它 由 列 号 组 成 ， 彼 此 之 间 用 逗号 分 隔 。 例 如 : 





$ cut -f 2,3 filename 
该 命令 将 显示 第 2 列 和 第 3 列 。 
(2) cut 命 令 也 能 够 从 stain 中 读 取 输入 。 


制 表 符 是 字段 默认 的 分 隔 符 。 对 于 没有 使 用 分 隔 符 的 行 , 会 将 该 行 照 原样 打印 出 来 。cut 
的 选项 -s 可 以 禁止 打印 出 这 种 行 。 下 面 的 例子 演示 了 如 何 从 使 用 制 表 符 作 为 分 隔 符 的 文 
件 中 提取 列 : 


$ cat student data.txt 
No Name Mark Percent 
1 Sarath 45 90 

2 Alex 49 98 

3 Anu 45 90 


























$ cut -fl1 student data.txt 
No 

1 

2 

3 


(3) 要 想 提取 多 个 字段 ， 就 得 给 出 由 逗号 分 隔 的 多 个 字段 编号 : 
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$ cut -f2,4 student data.txt 


Name Percent 
Sarath 90 
Alex 98 
Anu 90 


(4) 我 们 也 可 以 用 --complement 选 项 显示 出 没有 被 -f 指 定 的 那些 字段 。 下 面 的 命令 会 打印 
出 除 第 3 列 之 外 的 所 有 列 : 


$ cut -f3 --complement student data.txt 
No Name Percent 

1 Sarath 90 

2 Alex 98 

3 Anu 90 


(5) 选项 -a 能 够 设置 分 隔 符 。 下 面 的 命令 展示 了 如 何 使 用 cut 处 理由 分 号 分 隔 的 字段 : 








$ cat delimited data.txt 
No;Name; Mark;Percent 
1l;Sarath;45;90 
2;Alex;49;98 

3;Anu;45;90 


$ cut -f2 -d";" delimitedqd data.txt 
Name 

Sarath 

Alex 

Anu 


4.4.2 ”补充 内 容 
cut 命 令 还 有 其 他 一 些 选项 可 以 指定 要 显示 的 列 。 
指定 字段 的 字符 或 字 节 范围 


固定 列 宽 的 报表 在 列 与 列 之 间 都 存在 数量 不 等 的 空格 ”。 你 没 法 根据 字段 的 位 置 来 提取 值 ， 
但 是 可 以 根据 字符 位 置 提取 。cut 命 令 可 以 根据 字 节 或 者 字符 来 指定 选择 范围 。 




















输入 每 一 个 字符 的 提取 位 置 就 说 不 过 去 了 ， 因 此 除了 逗号 分 隔 的 列表 ，cut 可 以 接受 表 4-5 
中 列 出 的 记 法 。 























表 4-5 
N- 从 第 N 个 字 节 、 字 符 或 字段 开始 到 行 尾 
N-M 从 第 N 个 字 节 、 字 符 或 字段 开始 到 第 M 个 ( 包括 第 M 个 在 内 ) 字 节 、 字 符 或 字段 
_M 从 第 1 个 字 节 、 字 符 或 字段 开始 到 第 M 个 (包括 第 M 个 在 内 ) 字 节 、 字 符 或 字段 




















Qz 这些 空 格 是 作为 填充 之 用 ， 为 了 保证 列 的 宽度 相同 。 
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我 们 使 用 上 面 介 绍 的 记 法 ， 结 合 下 列 选项 将 字段 指定 为 某 个 范围 内 的 字 节 、 字 符 或 字段 : 


口 -b 表示 字 节 
口 -c 表示 字符 
口 -f 用 于 定义 字段 


例如 : 


$ cat range fields.txt 

abcdefghijklmnopqrstuvwxyz 
abcdefghijklmnopqrstuvwxyz 
abcdefghijklmnopqrstuvwxyz 
abcdefghijklmnopqrstuvwxy 


你 可 以 打印 第 2 个 到 第 5 个 字符 : 











$ cut -c2-5 range fields.txt 
bcde 
bcde 
bcde 
bcde 


打印 前 2 个 字符 : 


$ cut -Cc -2 range fields.txt 
ab 
ab 
ab 
ab 


若 要 用 字 节 作为 计数 单位 ， 可 以 将 -c 蔡 换 成 -bp。 
选项 --output-delimiter 可 以 指定 输出 分 隔 符 。 在 显示 多 组 数据 时 ， 该 选项 尤为 有 用 : 


$ cut range fields.txt -cl1l-3,6-9 --output-delimiter "," 
abc, fghi 
abc, fghi 
abc, fghi 
abc, fghi 


4.5 使 用 sea 替换 文本 


sed 是 stream editor ( 流 编辑 器 ) 的 缩写 。 它 最 常见 的 用 法 是 进行 文本 替换 。 这 则 攻略 中 包括 
了 大 量 sed 命 令 的 常见 用 法 。 





4.5.1 ”实战 演练 
sedq 可 以 使 用 另 一 个 字符 串 来 蔡 换 匹配 模式 。 模 式 可 以 是 简单 的 字符 串 或 正则 表达 式 
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$ sed 's/pattern/replace string/' file 
sed 也 可 以 从 staqin 中 读 取 输入 : 


$ cat file | sed 's/pattern/replace string/' 


如 果 你 用 的 是 vi 编辑 器 ,你 会 发 现 它 用 于 替换 文本 的 命令 和 sed 的 非常 相似 。 
sed 默 认 只 打印 出 被 蔡 换 的 文本 ， 可 以 将 其 用 于 管道 中 。 
$ cat /etc/passwd | cut -d : -f1,3 | sed 's/:/ - UID: /' 


root - UID: 0 
bin - UID: 1 





(1) 选项 -i 会 使 得 sed 用 修改 后 的 数据 蔡 换 原始 文件 : 
$ sed -i 's/text/replace/' file 


(2) 之 前 的 例子 只 替换 了 每 行 中 模式 首次 匹配 的 内 容 。g 标 记 可 以 使 sed 执 行 全 局 替换 ; 











$ sed 's/pattern/replace string/g' file 
/#g 标 记 可 以 使 seq 替 换 第 N 次 出 现 的 匹配 


$ echo thisthisthisthis | sed 's/this/THIS/2g' 
thisTHISTHISTHIS 





$ echo thisthisthisthis | sed 's/this/THIS/3g' 
thisthisTHISTHIS 


$ echo thisthisthisthis | sed 's/this/THIS/4g' 
thisthisthisTHIS 


sed 命 令 会 将 s 之 后 的 字符 视 为 命令 分 隔 符 。 这 人 允许 我 们 更 改 默认 的 分 隔 符 /: 


Sed 's:text:replace:g' 
sed 'sltext|replacelg' 


如 果 作 为 分 隔 符 的 字符 出 现在 模式 中 ， 必 须 使 用 \ 对 其 进行 转 义 : 


sed 'slte\|xtl|replacelg' 


\ | 是 出 现在 模式 中 被 转 义 的 分 隔 符 。 





4.5.2 ”补充 内 容 
sed 命 令 可 以 使 用 正则 表达 式 作为 模式 ， 另 外 还 包含 了 大 量 可 用 于 文本 处 理 的 选项 


1. 移 除 空 行 
有 了 正则 表达 式 的 支持 ， 移 除 空 行 不 过 是 小 菜 一 碟 。 空 行 可 以 用 正则 表达 式 ^$ 进行 匹配 。 
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最 后 的 /Ga 告诉 sea 不 执行 替换 操作 ， 而 是 直接 删除 匹配 到 的 空 行 : 


$ sed '/^$/d' file 


2. 直接 在 文件 中 蔡 换 

















如 果 将 文件 名 传递 给 sed， 它 会 将 文件 内 容 输 出 到 staout。 要 是 我 们 想 就 地 (in place ) 修 
改 文件 内 容 ， 可 以 使 用 选项 -i: 


$ sed 's/PATTERN/replacement/' -i filename 
例如 ， 使 用 指定 的 数字 替换 文件 中 所 有 3 位 数 的 数字 : 


$ cat sed data.txt 
11 abc 111 this 9 file contains 111 11 88 numbers 0000 








$ sed -i 's/\b[0-9] \{3\}\b/NUMBER/g' sed data.txt 
$ cat sed data.txt 
11 abc NUMBER this 9 file contains NUMBER 11 88 numbers 0000 


上 面 的 单行 命令 只 替换 了 所 有 的 3 位 数字 。 正则 表达 式 \b[0-9]\ {3\}\pb 用 于 匹配 3 位 数字 。[0-9] 
表示 数字 取 值 范围 是 从 0 到 9。{3} 表 示 匹 配 之 前 的 数字 3 次 。\ {3\} 中 的 \ 用 于 转 义 {和 }。\b 表 示 
单词 边界 。 














有 一 种 值得 推荐 的 做 法 是 先 使 用 不 带 -i 选项 的 sed 命 令 , 以 确保 正则 表达 式 
没有 问题 ， 如 果 结 果 符 合 要 求 ， 再 加 入 -i 选项 将 更 改写 入 文件 。 另外， 你 也 可 


以 使 用 下 列 形式 的 sed: 
6 sed -i.bak 's/abc/def/' file 
这 时 的 seda 不 仅 替 换文 件 内 容 ， 还 会 创建 一 个 名 为 file.bak 的 文件 ， 其 中 包含 
着 原始 文件 内 容 的 副本 。 


3. 已 匹配 字符 串 标记 〈&) 


在 sea 中 ， 我 们 可 以 用 & 指 代 模 式 所 匹配 到 的 字符 串 ， 这 样 就 能 够 在 替换 字符 串 时 使 用 已 匹 
配 的 内 容 : 





$ echo this is an example | sed 's/\w\+/[&]/g' 
[this] [is] [an] [example] 


在 这 个 例子 中 ， 正 则 表达 式 \w\+ 匹 配 每 一 个 单词 ， 然 后 我 们 用 [&] 替换 它 。& 对 应 于 之 前 所 匹配 
到 的 单词 。 


4. 子 串 匹配 标记 〈\1) 
& 指 代 匹 配给 定 模式 的 字符 串 。 我 们 还 可 以 使 用 \# 来 指 代 出 现在 括号 中 的 部 分 正则 表达 式 
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( 注 : 子 模式 ) 所 匹配 到 的 内 容 : 


$ echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/' 
this is 7 in a number 


这 条 命令 将 digit 7 蔡 换 为 7。\ (pattern\) 用 于 匹配 子 串 , 在 本 例 中 匹配 到 的 子 串 是 7。 子 模式 
被 放 入 使 用 反 斜 线 转 义 过 的 () 中 。 对 于 匹配 到 的 第 一 个 子 串 ， 其 对 应 的 标记 是 \1， 匹 配 到 的 第 
二 个 子 串 是 \2， 往 后 以 此 类 推 。 


$ echo seven EIGHT | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/' 
EIGHT seven 


([a-z]\+\) 匹配 第 一 个 单词 ，\ ( [A-z]\+\) 匹配 第 二 个 单词 。\1 和 \2 分 别 用 来 引用 这 两 个 单 
词 。 这 种 引用 形式 叫 作 向 后 引用 (back reference )。 在 替换 部 分 ， 它 们 的 次 序 被 更 改 为 \2 \1， 
因此 就 呈现 出 了 逆序 的 结果 。 


5. 组 合 多 个 表达 式 
可 以 利用 管道 组 合 多 个 sed 命 令 , 多 个 模式 之 间 可 以 用 分 号 分 隔 , 或 是 使 用 选项 -e PATTERN: 





















































sed 'expression' | sed 'expression' 
它 等 同 于 
$ sed 'expression; expression' 
或 者 
$ sed -e 'expression' -e 'expression' 
考虑 下 列 示 例 : 
$ echo abc | sed 's/a/A/' | sed 's/c/C/' 
AbC 
$ echo abc | sed 's/a/A/;s/c/C/' 
AbC 
$ echo abc | sed -e 's/a/A/' -e 's/c/C/' 
AbC 
6. 引用 





sed 表 达 式 通常 用 单 引号 来 引用 。 不 过 也 可 以 使 用 双 引 号 。shell 会 在 调用 segd 前 先 扩 展 双 引 
号 中 的 内 容 。 如 果 想 在 seq 表 达 式 中 使 用 变量 ， 双 引号 就 能 派 上 用 场 了 。 
例如 : 


$ text=hello 
$ echo hello world | sed "s/$text/HELLO/" 
HELLO world 


stext 的 求 值 结果 是 hello。 
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4.6 使 用 awk 进行 高 级 文本 处 理 
awk 命令 可 以 处 理 数据 流 。 它 支持 关联 数组 、 递 归 函 数 、 条 件 语句 等 功能 。 





4.6.1 预备 知识 
awk 脚本 的 结构 如 下 : 


awk 'BEGIN{ print "start" } pattern { commands } END{ print "end" }' file 

awk 命令 也 可 以 从 stdin 中 读 取 输入 。 

awk 脚本 通常 由 3 部 分 组 成 : BEGIN、END 和 人 带 模 式 匹 配 选 项 的 公共 语句 块 ( common statement 
block )。 这 3 个 部 分 都 是 可 选 的 ， 可 以 不 用 出 现在 脚本 中 。 


awk 以 逐 行 的 形式 处 理 文件 。BEGIN 之 后 的 命令 会 先 于 公共 语句 块 执行 。 对 于 匹配 PATTERN 
的 行 ，awk 会 对 其 执行 PATTERN 之 后 的 命令 。 最 后 , 在 处 理 完 整个 文件 之 后 ，awk 会 执行 END 之 后 
的 命令 。 


























4.6.2 ”实战 演练 
简单 的 awk 脚 本 可 以 放 在 单 引号 或 双 引 号 中 : 
awk 'BEGIN { statements } { statements } END { end statements }' 
或 者 
awk "BEGIN { statements } { statements } END { end statements }" 
下 面 的 命令 会 输出 文件 行 数 : 
$ awk 'BEGIN { i=0 } { i++ } END { print i}' filename 
或 者 


$ awk "BEGIN { i=0 } { i++ } END { print i }" filename 
4.6.3 工作 原理 
awk 命令 的 工作 方式 如 下 。 


(1) 首先 执行 BEGIN { commands } 语句 块 中 的 语句 。 

(2) 接着 从 文件 或 stgqin 中 读 取 一 行 ， 如 果 能 够 匹配 pattern， 则 执行 随后 的 commands 语 句 
块 。 重 复 这 个 过 程 ， 直 到 文件 全 部 被 读 取 完 毕 。 

(3) 当 读 至 输入 流 末尾 时 ， 执 行 END { commands } 语句 块 。 














4.6 使 用 awk 进行 高 级 文本 处 理 145 








BEGIN 语 句 块 在 awk 开始 从 输入 流 中 读 取 行 之 前 被 执行 。 这 是 一 个 可 选 的 语句 块 ， 诸 如 变量 
初始 化 、 打 印 输出 表格 的 表 头 等 语句 通常 都 可 以 放 在 BEGIN 语 句 块 中 。 
































END 语 句 块 和 BEGIN 语 句 块 类 似 。 它 在 awk 读 取 完 输入 流 中 所 有 的 行 之 后 被 执行 。 像 打印 所 有 
行 的 分 析 结 果 这 种 常见 任务 都 是 在 END 语 句 块 中 实现 的 。 






































最 重要 的 部 分 就 是 和 pattern 关 联 的 语句 块 。 这 个 语句 块 同样 是 可 选 的 。 如 果 不 提 供 ， 则 默 
认 执 行 { print }， 即 打印 所 读 取 到 的 每 一 行 。awk 对 于 读 取 到 的 每 一 行 都 会 执行 该 语句 块 。 这 
就 像 一 个 用 来 读 取 行 的 whi le 循环 ， 在 循环 体 中 提供 了 相应 的 语句 。 

每 读 取 一 行 ，awk 就 会 检查 该 行 是 否 匹配 指定 的 模式 。 模 式 本 身 可 以 是 正则 表达 式 、 条 件 语 
名 以 及 行 范围 等 。 如 果 当 前 行 匹 配 该 模式 ， 则 执行 1{ } 中 的 语句 。 


模式 是 可 选 的 。 如 果 没 有 提供 模式 ， 那 么 awk 就 认为 所 有 的 行 都 是 匹配 的 : 












































$ echo -e "linel\nline2" | awk 'BEGIN { print "Start" } { print } \ 
END { print "End" } ' 

Start 

linel 

line2 

End 


当 使 用 不 带 参数 的 print 时 ， 它 会 打印 出 当前 行 。 
print 能 够 接受 参数 。 这 些 参 数 以 逗号 分 隔 , 在 打印 参数 时 则 以 空格 作为 参数 之 间 的 分 隔 符 。 
在 awk 的 print 语 句 中 ， 双 3 引号 被 当 作 拼接 操作 符 (concatenation operator ) 使 用 。 例 如 : 


$ echo | awk '{ varl="v1l"; var2="v2"; var3="Vv3"; \ 
print varl,var2,var3 ; }' 


该 命令 输出 如 下 : 

V1 v2 v3 

echo 命 令 向 标准 输出 写 人 人 一行， 因此 awk 的 { } 语句 块 中 的 语句 只 被 执行 一 次 。 如 果 awk 的 
输入 中 包含 多 行 ， 那么 { } 语句 块 中 的 语句 也 就 会 被 执行 相应 的 次 数 。 

拼接 的 使 用 方法 如 下 : 


$ echo | awk '{ varl="vil"; var2="Vv2"; var3="Vv3"; \ 
print varl "-" Var2 "-" var3 ; }' 


该 命令 输出 如 下 : 

















V1l-v2-v3 
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{ } 就 像 一 个 循环 体 ， 对 文件 中 的 每 一 行进 行 迭代 。 








我 们 通常 将 变量 初始 化 语句 ( 如 var=0; ) 放 入 BEGIN 语 句 块 中 。 在 END{} 
语句 块 中 ， 往 往 会 放 入 用 于 打印 结果 的 语句 。 


4.6.4 补充 内 容 


awk 命令 与 诸如 grep 、finda 和 tr 这 类 命令 不 同 ， 它 功能 众多 ， 而 且 拥 有 很 多 能 够 更 改 命令 
为 的 选项 。awk 命 令 是 一 个 解释 器 ， 它 能 够 解释 并 执行 程序 ， 和 shell 一 样 ， 它 也 包括 了 一 些 特 














1. 特殊 变量 

以 下 是 awk 可 以 使 用 的 一 些 特殊 变量 。 

D NR: 表示 记录 编号 ， 当 awk 将 行 作为 记录 时 ， 该 变量 相当 于 当前 行 号 。 

D NFP: 表示 字段 数量 ， 在 处 理 当前 记录 时 ， 相 当 于 字段 数量 。 默 认 的 字段 分 隔 符 是 空格 。 
口 $0: 该 变量 包含 当前 记录 的 文本 内 容 。 

口 $1: 该 变量 包含 第 一 个 字段 的 文本 内 容 。 

D $2: 该 变量 包含 第 一 个 字段 的 文本 内 容 。 

例如 : 


$ echo -e "linel f2 f3\nline2 f4 f5\nline3 f6 f7" | \ 





















































awk '{ 
print "Line no:"NR",No of fields:"NF, "$0="$0, 
"$1="$1,"$2="$2, "$3="$3 
让 
Line no:1,No of fields:3 $0=linel f2 f3 $1=linel $2=f2 $3=f£3 
Line no:2,No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5 
Line no:3,No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f£7 


我 们 可 以 用 print $NF 打 印 一 行 中 最 后 一 个 字段 ， 用 $s (NF-1) 打印 倒 数 第 二 个 字段 ， 其 他 
字段 以 此 类 推 。awk 也 支持 printf() 函数 ， 其 语法 和 C 语 言 中 的 同名 函数 一 样 。 


下 面 的 命令 会 打印 出 每 一 行 的 第 二 和 第 三 个 字段 : 
S$awk '{ print $3, $2 }' file 

我 们 可 以 使 用 NR 统计 文件 的 行 数 : 

$ awk 'END{ print NR }' file 


这 里 只 用 到 了 END 语 句 块 。 每 读 入 一 行 ，awk 都 会 更 新 NR。 当 到 达 文 件 末 尾 时 ，NR 中 的 值 就 
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是 最 后 一 行 的 行 号 。 你 可 以 将 每 一 行 中 第 一 个 字段 的 值 按照 下 面 的 方法 累加 : 


$ seq 5 | awk 'BEGIN { sum=0; print "Summation:" } 

{ print $1"+"; sum+=$1 } END { print "=="; print sum }' 
Summation: 

1+ 

2+ 

3+ 

4+ 

5+ 





15 
2. 将 外 部 变量 值 传递 给 awk 
借助 选项 -v， 我们 可 以 将 外 部 值 ( 并 非 来 自 stain ) 传递 给 awk: 








$ VAR=10000 
$ echo | awk -Vv VARIABLE=$VAR '{ print VARIABLE }' 
10000 


还 有 男 一 种 灵活 的 方法 可 以 将 多 个 外 部 变量 传递 给 awk。 例 如 : 
$ varl="Variablel" ; var2="Variable2" 


$ echo | awk '{ print vl,v2 }' vl=$varl v2=$var2 
Variablel Variable2 


当 输 入 来 自 于 文件 而 非 标 准 输入 时 ， 使 用 下 列 命 令 : 
$ awk '{ print vl,v2 }' vl=$varl v2=$var2 filename 


在 上 面 的 方法 中 , 变量 以 键 - 值 对 的 形式 给 出 ,使 用 空格 分 隔 (v1=$varl v2=$var2 ), 作为 awk 
的 命令 行 参数 紧 随 在 BEGIN、{} 和 END 语 句 块 之 后 。 











3. 用 get1line 读 取 行 

awk 默认 读 取 文件 中 的 所 有 行 。 如 果 只 想 读 取 某 一 行 ， 可 以 使 用 getline 国 数 。 它 可 以 用 于 
在 BEGIN 语 句 块 中 读 取 文件 的 头 部 信息 ， 然 后 在 主语 句 块 中 处 理 余下 的 实际 数据 。 

该 函数 的 语法 为 : get line var。 变 量 var 中 包含 了 特定 行 。 如 果 调 用 时 不 带 参数 ， 我 们 可 
以 用 so0、$1 和 $2 访 问 文本 行 的 内 容 。 例 如 : 




















$ seq 5 | awk 'BEGIN { getline; print "Read ahead first line", $0 } 
{ print $0 }' 

Read ahead first line 1 

2 


3 
4 
5 


148 第 4 章 让 文本 飞 





4. 使 用 过 滤 模式 对 awk 处 理 的 行进 行 过 滤 
我 们 可 以 为 需要 处 理 的 行 指定 一 些 条 件 : 


$ awk 'NR < 5' # 行 号 小 于 5 的 行 

$ awk 'NR==1,NR==4' # 行 号 在 1 到 5 之 间 的 行 

$ awk '/linux/' # 包含 模式 为 linux 的 行 (可 以 用 正则 表达 式 来 指定 模式 ) 
$ awk '!/linux/' # 不 包含 模式 为 1linux 的 行 


5. 设置 字段 分 隔 符 


默认 的 字段 分 隔 符 是 空格 。 我 们 也 可 以 用 选项 -F 指 定 不 同 的 分 隔 符 : 








$ awk -F: '{ print SNE }' /etc/passwd 
或 者 
awk 'BEGIN { FS=":" } { print SNE }' /etc/passwd 
在 BEGIN 语 句 块 中 可 以 用 oFS="delimiter" 设 置 输出 字段 分 隔 符 。 
6. 从 awk 中 读 取 命令 输出 
awk 可 以 调用 命令 并 读 取 输出 。 

















命令 放 入 引号 中 , 然后 利用 管道 将 命令 输出 传人 getline: 


车 





"command" | getline output ; 


下 面 的 代码 从 /etc/passwd 文 件 中 读 和 一行， 然后 显示 出 用 户 登 录 名 及 其 主 目 录 。 在 BEGIN 语 
句 块 中 将 字段 分 隔 符 设置 为 :， 在 主语 句 块 中 调用 了 grep。 

















$ awk 'BEGIN {FS=":"} { "grep root /etc/passwd" | getline; \ 
print $1,$6 }' 
root /root 


7. awk 的 关联 数组 


除了 数字 和 字符 串 类 型 的 变量 ，awk 还 支持 关联 数组 。 关 联 数组 是 一 种 使 用 字符 串 作为 索引 
的 数组 。 你 可 以 通过 中 括号 中 索引 的 形式 来 分 辨 出 关联 数组 : 


arrayName [index] 
就 像 用 户 定 义 的 简单 变量 一 样 ， 你 也 可 以 使 用 等 号 为 数组 元 素 赋值 : 
myarray[index] =value 


8. 在 awk 中 使 用 循环 
在 awk 中 可 以 使 用 for 循 环 ， 其 格式 与 C 语 言 中 的 差不多 : 









































for(i=0;i<10;i++) { Print $i ; } 


另外 awk 还 支持 列表 形式 的 for 循 环 ， 也 可 以 显示 出 数组 的 内 容 : 
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for(i in array) { print array[i]; } 


下 面 的 例子 展示 了 如 何 将 收集 到 的 数据 存 人 数组 并 显示 出 来 。 这 个 脚本 从 /etc/password 中 读 
取 文 本 行 ， 以 :作为 分 隔 符 将 行 分 割 成 字段 ， 然 后 创建 一 个 关联 数组 ， 数 组 的 索引 是 登录 ID ， 对 
应 的 值 是 用 户 名 : 
$ awk 'BEGIN {FS=":"} {nam[$1]=$5} END {for {i in nam} \ 
{print i,nam[i]}}' /etc/passwd 
root root 


ftp FTP User 
userj Joe User 


9. awk 内 建 的 字符 串 处 理 函 数 
awk 有 很 多 内 建 的 字符 串 处 理 函 数 。 

















2 hd 


口 length (string): 返回 字符 串 string 的 长 度 。 

口 index (string, search_string) :返回 search_string 在 字符 串 string 中 出 现 的 位 置 。 
口 split (string, array, delimiter): 以 daelimiter 作 为 分 隔 符 , 分 割 字 符 串 string， 
将 生成 的 字符 串 存 人 数组 array。 

口 substr(string,，start-position，end-position) : 返回 字符 串 string 中 以 
start-position 和 end-position 作 为 起 止 位 置 的 子 串 。 

口 sub (regex, replacement_str，string): 将 正则 表达 式 regex 匹 配 到 的 第 一 处 内 容 
替换 成 replacment_str。 

口 gsub (regex，replacement_str，string): 和 sub() 类 似 。 不 过 该 函数 会 奉 换 正则 
表达 式 regex 匹 配 到 的 所 有 内 容 。 

口 match (regex, string) :检查 正则 表达 式 regex 是 否 能 够 在 字符 串 string 中 找到 匹配 。 
如 果 能 够 找到 , 返回 非 0 值 ; 否则 , 返回 0。match () 有 两 个 相关 的 特殊 变量 , 分别 是 RSTART 
和 RLENGTH。 变 量 RSTART 包 含 了 匹配 内 容 的 起 始 位 置 ， 而 变量 RLENGTH 包 含 了 匹配 内 容 
的 长 度 。 
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计算 机 善于 计数 。 我 们 经 常 要 进行 各 种 统计 ,例如 发 送 垃圾 邮件 的 站 点 数 、 不 同 页 面 的 下 载 
量 或 是 文本 中 单词 出 现 的 频率 。 这 则 攻略 将 展示 如 何 统 计 文本 中 的 单词 词 频 。 其 中 用 到 的 技术 也 
可 以 应 用 于 日 志文 件 、 数 据 库 输出 等 方面 。 


























4.7.1 预备 知识 
我 们 可 以 使 用 awk 的 关联 数组 来 解决 这 个 问题 ， 而 且 实 现 方 法 还 不 止 一 种 。 单 词 是 由 空格 或 
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点 号 分 隔 的 字母 组 合 。 首先, 我们 需要 解析 出 给 定 文 件 中 出 现 的 所 有 单词 , 然后 统计 每 个 单词 的 


出 现 次 数 。 单 词 角 








4.7.2 ”实战 演练 
我 们 已 经 了解 了 实现 原理 。 现 在 来 动手 创建 如 下 的 脚本 : 


#!/bin/bash 


# 文件 名 : wo 
# 用 途 : 计算 





rd_freq.sh 
文件 中 单词 的 词 频 


if [ S$# -ne 1 ]; 


then 


echo "Usage: $0 filename"; 


(= se 
下 和 


filename=$1 
egrep -o "\b[[:alpha:]]+\b" S$filename | \ 
awk '{ count[$0]++ } 
END{ printf("%$-14s%s\n","Word","Count") ; 
for(ind in count) 
{ printf("%$-14s%$d\n",ingd,count [indq] ) ; 


} 
} 


输出 如 下 : 


$ ./word freq.sh words.txt 


Word 
used 
this 
counting 


Count 
I 
2 
1 


4.7.3 工作 原理 


egrep 命 令 将 文本 文件 转换 成 单词 流 ， 每 行 一 个 单词 。 模 式 \b[ [ :alpha:]]+\b 能 够 匹配 每 
个 单词 并 去 除 空白 字符 和 标点 符号 。 选 项 -o 打 印 出 匹配 到 的 单词 ， 一 行 一 个 。 








坚 析 可 以 用 正则 表达 式 配 合 sed、awk 或 grep 等 工具 来 完成 。 


awk 命 令 统计 每 个 单词 。 它 针对 每 一 行文 本 执行 {} 语 句 块 中 的 语句 ， 因 此 我 们 不 需要 再 专门 
为 此 写 一 个 循环 。count [$0]++ 命 令 负 责 计数 ， 其 中 $0 是 当前 行 ，count 是 关联 数组 。 所 有 的 


行 处 理 完毕 后 ,] 





整个 处 理 过 程 也 能 够 使 用 我 们 学 过 的 其 他 工具 来 改写 ,可 以 利 月 


END{} 语 句 块 打印 出 各 个 单词 及 其 数量 。 














单词 合计 为 一 个 单词 ， 然 后 用 sort 命 令 排 序 输出 ， 

















有 tr 命令 将 大 写 单词 和 非 大 写 
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egrep -o "\b[l[:alpha:]]+\b" $filename | tr [A-Z] [a-z] | \ 
awk '{ count [$0]++ } 
END{ printf("%$-14s%$s\n","Word","Count") ; 
for(ind in count) 
{ printf("%-14s%$d\n",ingd,count [indq] ) ; 
} 


OEE 


4.7.4 ”参考 


口 1.7 节 讲解 了 Bash 中 的 数组 。 
口 4.6 节 讲解 了 了 awk 命令 O 








4.8 压缩 或 解压 缩 JavaScript 


JavaScript 广 泛 用 于 网 站 设计 。 在 编写 JavaScript 代 码 时 ， 出 于 代码 可 读 性 以 及 可 维护 性 方面 
的 考虑 , 我 们 会 使 用 一 些 空格 、 注 释 和 制 表 符 。 但 这 些 内 容 会 增加 JavaScript 文 件 的 体积 , 拖 慢 页 
面 的 加 载 速度 。 因 此 ， 多 数 专业 网 站 为 了 加 快 页 面 载 人 速度 ,都 会 压缩 JavaScript 文 件 。 这 多 是 通 
过 删除 空白 字符 和 换行 符 来 实现 的 (也 被 称 为 minified JS )。 对 于 压缩 过 的 JavaScript， 还 可 以 通 
过 加 入 足够 的 空白 字符 和 换行 符 解 压缩 , 恢复 代码 的 可 读 性 。 这 则 攻略 就 尝试 在 shell 中 实现 类 似 
的 功能 。 









































4.8.1 预备 知识 


我 们 准备 写 一 个 JavaScript 压 缩 工具 ， 当 然 ， 还 包括 与 之 对 应 的 解压 缩 工具 。 来 考虑 下 面 的 
Javascript 代 码 : 





$ cat sample.js 
function sign out() 
{ 


$ ("#1loading").show(); 
$s.get("log in",{logout:"True"}, 


function(){ 
window.location=""; 
}); 
} 


下 面 是 压缩 JavaScript 代 码 所 需要 完成 的 工作 。 
(1) 移 除 换行 符 和 制 表 符 。 
(2) 移 除 重复 的 空格 。 
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(3) 替换 掉 注释 /* content */。 
要 解压 缩 或 者 恢复 JavaScript 代 码 的 可 读 性 ， 则 需要 


口 用 ;\n 替换; ; 
口 用 {\n 替换 {，\n} 替换 }。 





4.8.2 ”实战 演练 
按照 之 前 叙述 过 的 步骤 ,我 们 使 用 下 面 的 命令 序列 


$ cat sample.js | \ 

tr =d. "MnVt 由 

| sed 's:/\*.*\*/::g' \ 

| sed 's/ \?\([{}();7,:]\) \?/\1/g' 


输出 如 下 : 


function sign out(){$("#loading") .show();$.get("log in", 
{logout:"True"}, function() {window.location="";});} 


接着 写 一 个 可 以 将 这 些 混 乱 的 代码 恢复 正常 的 解压 缩 脚 本 : 
$ cat obfuscated.txt | sed 's/;/;\n/g; s/{/{\n\n/g; s/}/\n\n}/g' 


或 者 


$ cat obfuscated.txt | sed 's/;/;\n/g' | sed 's/{/{\n\n/g' | sed 
's/}/\n\n}/g' 


该 脚本 在 使 用 上 存在 局 限 : 它 会 删除 本 不 该 删除 的 空格 。 假 如 有 下 列 语句 : 


人 var a = "hello world" 
两 个 空格 会 被 转换 成 一 个 。 这 种 问题 可 以 使 用 我 们 讲 过 的 模式 匹配 工具 来 解 
决 。 另外 ,如果 需要 处 理 关键 JavaScript 代 码 ,， 最 好 还 是 使 用 功能 完善 的 工具 来 实现 。 


4.8.3 工作 原理 
通过 执行 下 面 的 步骤 来 进行 压缩 。 
(1) 移 除 \n 和 \t: 
tr -d '\n\t' 
(2) 移 除 多 余 的 空格 : 
tr -gs ，， 
或 者 


sed 's/[ ]\+/ /g' 
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(3) 移 除 注 释 : 
Sed 'Ss:/\*.*\*/::g! 
因为 我 们 需要 使 用 /* 和 */， 所 以 用 :作为 sed 的 分 隔 符 ， 这 样 就 不 必 对 / 进行 转 义 了 。 
* 在 sed 中 被 转 义 为 \*。 
.* 用 来 匹配 /* 与 */ 之 间 所 有 的 文本 。 

(4) 移 除 {,}、(,)、;、: 以 及 ,前 后 的 空格 : 


sed 's/ \?\([{}();,:]\) \?/\1/g' 























上 面 的 sed 语 句 含 义 如 下 。 
口 / \?\([{}();,:]\) N\?/ 用 于 匹配 ， 八 1/g 用 于 替换 。 
口 \([{}();,:]\) 用 于 匹配 字符 组 [ { }( ) ; ，: ] (出 于 可 读 性 方面 的 考虑 ， 在 这 


里 加 入 了 空格 ) 中 的 任意 一 个 字符 。\( 和 \) 是 分 组 操作 符 ， 用 于 记忆 所 匹配 的 内 容 ， 以 
便 在 替换 部 分 中 进行 向 后 引用 。 对 (和 ) 转 义 之 后 ， 它 们 便 具备 了 男 一 种 特殊 的 含义 ， 可 
以 作为 分 组 操作 符 使 用 ,位 于 分 组 操作 符 前 后 的 \? 用 来 匹配 可 能 出 现在 字符 集合 周围 
的 空格 。 
口 在 命令 的 替换 部 分 ， 匹 配 的 字符 串 〈 也 就 是 一 个 可 选 的 空格 、 一 个 来 自 字符 集 的 字符 
再 加 一 个 可 选 的 空格 ) 被 匹配 的 子 串 所 替换 。 由 分 组 操作 符 匹 配 到 并 记忆 的 子 串 是 通 
过 向 后 引用 来 指 代 的 。 可 以 用 符号 \1 向 后 引用 该 分 组 所 匹配 的 内 容 。 


解压 缩 命令 的 工作 方式 如 下 : 


口 s/;/;\n/g 将 ;替换 为 ;\n; 
口 s/{/{\n\n/g 将 { 蔡 换 为 {\n\n; 
口 s/}/\n\n}/g 将 } 蔡 换 为 \n\n}。 





















































4.8.4 ”参考 


口 2.6 节 讲解 了 tr 命令 。 
口 4.5 节 讲解 了 sed 命 令 。 





4.9 按 列 合并 多 个 文件 


cat 命 令 可 以 按 行 依次 合并 两 个 文件 。 但 有 时 候 我 们 需要 按 列 合并 多 个 文件 ， 也 就 是 将 每 一 
个 文件 的 内 容 作为 单独 的 一 列 。 
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4.9.1 ”实战 演练 
可 以 用 paste 命 令 实现 按 列 合 并 ， 其 语法 如 下 : 
$ paste filel file2 file3 ... 
让 我 们 来 尝试 一 下 : 
$ cat filel.txt 
1 
2 
3 
4 


5 

$ cat file2.txt 

slynux 

gnu 

bash 

hack 

$ paste filel.txt file2.txt 
1 slynux 
2 gnu 

3 bash 

4 hack 

5 




















默认 的 分 隔 符 是 制 表 符 ， 也 可 以 用 -a 指定 分 隔 符 : 
$ paste filel.txt file2.txt -d "," 
1,slynux 

2,gnu 

3,bash 

4,hack 

5 


4.9.2 ”参考 
4.4 节 讲解 了 如 何 从 文本 文件 中 提取 数据 。 


4.10 打印 文件 或 行 中 的 第 个 单词 或 列 


我 们 经 常 需 要 从 文件 数据 中 提取 少数 几 列 。 例 如 在 以 成 绩 排 序 的 学 生 列 表 中 , 我 们 希望 得 到 
成 绩 最 高 的 4 名 学 生 的 姓名 。 来 看 看 如 何 实现 。 





4.10.1 ”实战 演练 
这 种 任务 通常 都 是 使 用 awk 来 完成 。 
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(1) 用 下 面 的 命令 打印 第 5 列 : 
$ awk '{ print $5 }' filename 

(2) 也 可 以 打印 多 列 数据 并 在 各 列 间 插 和 人 指定 的 字符 串 。 
如 果 要 打印 当前 目录 下 各 文件 的 权限 和 文件 名 ， 可 以 使 用 下 列 命令 : 














$1s -1 | awk '{ print $1 " : " $8 }' 
-rw-r--r-- : delimited data.txt 
-rw-r--r-- : Obfuscated.txt 
-rw-r--r-- : pastel.txt 
-rw-r--r-- : paste2.txt 

4.10.2 参考 


口 4.4 节 讲解 了 如 何 从 文本 文件 中 提取 数据 。 
口 4.6 节 讲解 了 awk 命令 。 





4.11 打印 指定 行 或 模式 之 间 的 文本 


我 们 有 时 候 可 能 需要 根据 某 些 条 件 打印 文件 的 一 部 分 , 比如 由 指定 行 号 或 起 止 模 式 所 匹配 的 
文本 范围 。 





4.11.1 ”预备 知识 


awk grep 和 sed 都 可 以 根据 条 件 打 印 部 分 行 。 最 简单 的 方法 是 使 用 grep 打 印 匹配 模式 的 行 。 
不 过 ， 最 全 能 的 工具 还 是 awk。 











4.11.2 ”实战 演练 
要 打印 指定 行 或 模式 之 间 的 文本 ， 可 以 依照 以 下 步 又 。 
(1) 打印 从 M 行 到 N 行 之 间 的 文本 : 
$ awk 'NR==M, NR==N' filename 
awk 也 可 以 从 stqin 处 读 取 输入 : 
$ cat filename | awk 'NR==M, NR==N' 
(2) 把 M 和 N 换 成 具体 的 数字 : 


$ seq 100 | awk 'NR==4,NR==6' 
4 





(3) 打印 位 于 模式 start_pattern 与 end_pattern 之 间 的 文本 : 
$ awk '/start pattern/, /end pattern/' filename 


例如 : 


$ cat section.txt 
line with patternil 
line with pattern2 
line with pattern3 
line end with pattern4 
line with pattern5 


$ awk '/pa.*3/, /end/' section.txt 
line with pattern3 
line end with pattern4 


awk 中 使 用 的 模式 为 正则 表达 式 。 


4.11.3 ”参考 


4.6 节 讲解 ‘i awk 命令 O 


4.12 ”以 逆序 形式 打印 行 
这 则 攻略 看 起 来 似乎 没什么 用 ， 不 过 它 可 以 用 来 在 Bash 中 模拟 栈 结构 。 





4.12.1 预备 知识 


最 简单 的 实现 方法 是 使 用 ac 命令 。 当 然 也 可 以 用 awk 来 搞定 。 








4.12.2 ”实战 演练 
先 来 试 试 tac。 
(1) 该 命令 的 语法 如 下 : 
tac filel file2 ... 
它 也 可 以 从 stain 中 读 取 输入 : 


$ seq5 | tac 
5 
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上 N WwW 心 





tac 命 令 默认 使 用 \n 作 为 行 分 隔 符 。 但 我 们 也 可 以 用 选项 -s 指 定 其 他 分 隔 符 。 





$ echo "1,2" | tac-s, 
2 
1 
(2) 使 用 awk 的 实现 方式 如 下 : 
seq 9 | \ 


awk '{ lifo[NR]=$0 } \ 
END { for(lno=NR;lno>-1;]lno--){ print lifo[lno]; } 
} 1 





在 shell 脚 本 中 ，\ 可 以 很 方便 地 将 单行 命令 拆 解 成 多 行 。 


4.12.3 工作 原理 


这 个 awk 脚 本 将 每 一 行 都 存 人 关联 数组 中 ， 用 行 号 作为 数组 索引 ( 行 号 由 NR 给 出 )。 读 取 完 
所 有 的 行 之 后 ， awk 执行 END 语 句 块 。 变 量 NR 是 由 awk 维护 的 。 该 变量 中 保存 了 当前 行 号 。 当 awk 
开始 执行 END 语 句 块 时 ，NR 中 的 值 就 是 总 行 数 。 在 { } 语 句 块 中 使 用 1no=NR， 从 最 后 一 行 迭代 
到 行 号 为 0 的 第 一 行 ， 同 时 以 逆序 形式 打印 出 所 有 的 行 。 

















4.13 解析 文本 中 的 电子 邮件 地 址 和 URL 
解析 电子 邮件 地 址 和 URL 是 一 项 常见 任务 。 正 则 表达 式 能 够 帮助 我 们 简化 相关 的 工作 。 


4.13.1 ”实战 演练 
能 够 丐 配 电子 邮件 地 址 的 正则 表达 式 如 下 : 


[A-Za-z0-9._]+@[A-Za-z0-9.]+\.[a-zA-2Z] {2,4} 
例如 : 


$ cat url email.txt 

this is a line of text contains,<email> #slynux@slynux.com. 
</email> and email address, blog "http://ww.google.com", 
test@yahoo.com dfdfdfdddfdf;cool.hacks@gmail.com<br /> 

<a href="http://code.google.com"><hl>Heading</h1> 


因为 用 到 了 扩展 正则 表达 式 ( 例如 + )， 所 以 得 使 用 egrep 命 令 : 


$ egrep -o '[A-Za-2z0-9._ ]+@[A-Za-2z0-9.]+\. [a-zA-2Z] {2,4}' 
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url email.txt 
slynux@slynux .com 
test@yahoo.com 
cool.hacks@gmail .com 


匹配 HITP URL 的 egrep 正 则 表达 式 如 下 : 


http://[a-zA-20-9\-\.]+\. [a-zA-2] {2,4} 
例如 : 


$ egrep -o "http://[a-zA-20-9.]+\. [a-zA-2] {2,3}" url email.txt 
http://ww.google.com 
http://code.google.com 


4.13.2 ”工作 原理 


如 果 逐 个 部 分 进行 设计 , 这 些 正则 表达 式 其 实 很 简单 。 在 匹配 电子 邮件 地 址 的 正则 表达 式 中 ， 
我 们 都 知道 电子 邮件 地 址 可 以 采用 name@domain.some 2-4_letter_suffix 这 种 形式 。 那么 ， 
在 编写 正则 表达 式 时 也 要 遵循 同样 的 规则 : 

[A-Za-z0-9.]+@[A-Za-z0-9.]+\. [a-zA-2Z] {2,4} 

[A-Za-z0-9.]+ 表 示 在 表示 字面 意义 的 字符 @ 出 现 之 前 ，[] 中 的 字符 需要 出 现 一 次 或 多 次 (这 
也 正 是 + 的 含义 ),。 接 下 来 就 是 域名 , 它 是 由 包含 字母 或 数字 的 字符 串 、 点 号 以 及 2 至 4 个 字母 组 成 
的 。 模 式 [A-za-z0-9.1+ 能 够 匹配 字母 -数字 字符 串 。\ .能 够 匹配 必须 出 现 的 字面 意义 上 的 点 
号 。[a-zA-z] {2,4} 能 够 匹配 长 度 为 2>、3 或 4 的 字符 串 。 


匹配 HTTP URL 与 匹配 电子 邮件 地 址 类 似 ， 只 是 不 需要 匹配 name@ 部 分 : 






























































http://[a-zA-20-9.]+\.[a-zA-2Z] {2,3} 


4.13.3 ”参考 


口 4.2 节 讲解 了 如 何 使 用 正则 表达 式 。 
口 4.5 节 讲解 了 sed 命 令 。 





























4.14 ”删除 文件 中 包含 特定 单词 的 句子 


利用 正则 表达 式 删 除 包含 某 个 单词 的 句子 不 是 件 难事 。 这 则 攻略 中 给 出 了 一 个 解决 类 似 问 题 
的 方法 。 











4.14.1 ”预备 知识 
sed 是 进行 文本 替换 的 不 二 之 选 。 我 们 可 以 使 用 seq 将 匹配 的 句子 替换 成 空白 。 
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4.14.2 “实战 演练 
先 创 建 一 个 包含 蔡 换文 本 的 文件 。 例 如 ; 


$ cat sentence.txt 

Linux refers to the family of Unix-like computer operating systems 
that use the Linux kernel. Linux can be installed on a wide variety 
of computer hardware, ranging from mobile phones, tablet computers 
and video game consoles, to mainframes and supercomputers. Linux is 
predominantly known for its use in servers. 


我 们 的 目标 是 删除 包含 mobile phones 的 句子 。 可 以 用 下 面 的 sed 语 句 来 实现 : 




















$ sed 's/ [^.]*mobile phones[^.]*\.//g' sentence.txt 

Linux refers to the family of Unix-like computer operating systems 
that use the Linux kernel. Linux is predominantly known for its use 
in servers. 


人 这 里 假设 文件 中 没有 出 现 跨 行 的 句子 。 也 就 是 说 , 句子 总 是 完整 地 出 现在 同一 
行 中 。 


4.14.3 工作 原理 


sedq 的 正则 表达 式 s/ [^.]x*mobile phones[^.]*\.//g 采 用 的 格式 为 s/substitution_ 
pattern/replacement_string/g。 它 将 与 substitution_pattern 相 匹配 的 每 一 处 内 容 都 
用 replacement_string 替 换 掉 。 


本 例 中 的 substitution_pattern 是 用 来 匹配 整 句 文本 的 正则 表达 式 。 文 件 中 的 每 一 句 话 
都 是 以 空格 开头 ， 以 .结尾 。 正 则 表达 式 要 匹配 内 容 的 格式 就 是 : 空格 + 若干 文本 + 需要 匹配 的 字 
符 果 + 若干 文本 + 名 点。 一 个 句子 中 除了 作为 分 隔 符 的 句点 之 外 , 可 以 包含 任意 字符 。 因 此 需要 使 
用 [^.], 该 模式 可 以 匹配 除 句 点 之 外 的 任意 字符 。* 表 示 之 前 的 字符 可 以 出 现任 意 多 次 。 用 来 匹 
配 文 本 的 mobile phones 被 放置 在 两 个 [^.]* 之 间 。 每 一 个 匹配 的 句子 均 被 / /替换 ( 注意 ，/ 
与 /之 间 没 有 任何 内 容 )。 





















































Pane 








4.14.4 ”参考 

口 4.2 节 讲解 了 如 何 使 用 正则 表达 式 。 

口 4.5 节 讲解 了 sed 命 令 。 

4.15 ”对 目录 中 的 所 有 文件 进行 文本 替换 


我 们 经 常 需要 将 目录 下 所 有 文件 中 的 特定 文本 替换 成 其 他 内 容 。 例如 在 网 站 的 源 文件 目录 中 
替换 一 个 URI。 
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4.15.1 实战 演练 
我 们 可 以 首先 使 用 find 找 到 需要 进行 文本 替换 的 文件 ， 然 后 由 sedq 负 责 完 成 实际 的 替换 操作 。 
假设 我 们 和 希望 将 所 有 .cpp 文 件 中 的 copyright 和 替换 成 Copyleft: 














find 。 -name *.cpp -print0 | \ 
xargs -I{} -0 sed -i 's/Copyright/Copyleft/g' {} 


4.15.2 ”工作 原理 


我 们 使 用 fina 命 令 在 当前 目录 (.) 下 查找 所 有 的 .cpp 文 件 。 它 使 用 -print0 打 印 出 以 \0 作 为 
分 隔 符 的 文件 列表 ( 这 可 以 避免 文件 名 中 的 空格 所 带 来 的 麻烦 )。 然 后 使 用 管道 将 文件 列表 传递 
给 xargs， 后 者 将 文件 名 作为 sed 的 参数 ， 通 过 sed 修 改 文件 内 容 。 











4.15.3 ”补充 内 容 


回忆 一 下 ,findQ 有 一 个 选项 -exec, 它 可 以 对 查找 到 的 每 个 文件 执行 命令 。 我 们 可 以 使 用 该 
选项 实现 同样 的 效果 或 是 改 用 下 列 命 令 : 














$ find . -name *.cpp -exec sed -i 's/Copyright/Copyleft/g' \{\} \; 


$ find . -name *.cpp -exec sed -i 's/Copyright/Copyleft/g' \{\} \+ 
管 这 两 个 命令 效果 相同 ， 但 第 一 个 命令 会 为 查找 到 的 每 个 文件 调用 一 次 sea， 而 在 第 二 个 命令 
ind 会 将 多 个 文件 名 一 并 传递 给 seqd。 








于 六 
。 


4.16 ”文本 切片 与 参数 操作 


这 则 攻略 将 会 讲解 一 些 简单 的 文本 替换 技术 以 及 Bash 中 可 用 的 参数 扩展 简写 法 。 这 些 简单 的 
技巧 通常 能 够 帮助 我 们 免 敲 不 少 键盘 。 

















4.16.1 ”实战 演练 
让 我 们 来 练 练 手 吧 。 
替换 变量 内 容 中 的 部 分 文本 : 


$ var="This is a line of text" 
$ echo ${var/line/REPLACED} 
This is a REPLACED of text" 


4.16 文本 切片 与 参数 操作 161 





单词 1 ine 被 替换 成 了 REPLACED。 
我 们 可 以 通过 指定 字符 串 的 起 始 位 置 和 长 度 来 生成 子囊 ， 其 语法 如 下 : 








$s{variable name:start position:length} 
下 面 的 命令 可 以 打印 出 第 5 个 字符 之 后 的 内 容 : 
$ string=abcdefghijklmnopqrstuvwxyz 


$ echo S${string:4} 
efghijklmnopqrstuvwxyz 


从 第 5 个 字符 开始 ， 打 印 8 个 字符 : 





$ echo $s{string:4:8} 
efghijkl 


字符 串 起 始 字 符 的 索引 从 0 开始 。 从 后 向 前 计数 ,字符 串 末 尾 字符 的 索引 为 -1。 如 果 -1 出 现 
在 括号 内 ， 那么 (-1) 表 示 的 就 是 最 后 一 个 字符 的 索引 : 
echo ${string:(-1)} 


$ echo ${string: (-2):2} 
yz 


4.16.2 ”参考 
4.5 节 讲解 了 其 他 一 些 字符 处 理 技巧 。 


一 团 乱 麻 ? 没 这 回 事 ! 


























本 章 内 容 

口 Web 页 面 下 载 口 通过 Web 服 务 器 查询 单词 含义 
口 以 纯 文 本 形式 下 载 页 面 口 查找 网 站 中 的 无 效 链接 

口 cURL 入 门 口 跟踪 网 站 变动 

口 从 命令 行 访问 未 读 的 Gmail 邮件 口 发 送 Web 页 面 并 读 取 响应 

口 解析 网 站 数据 口 从 Internet 下 载 视频 

口 图 片 怜 取 器 及 下 载 工具 口 使 用 OTS 汇 总 文本 

口 网 页 相册 生成 顺 口 在 命令 行 中 翻译 文本 

口 Twitter 命令 行 客 户 端 


5.1 简介 





Web 已 经 成 为 反映 技术 发 展 的 晴雨 表 以 及 数据 处 理 中 心 点 。 尽 管 shell 脚 本 没 法 像 PHP 那 样 在 
Web 上 大 包 大 揽 ， 但 还 是 有 不 少 活 儿 挺 适合 它 。 本 章 会 研究 一 些 用 于 解析 网 站 内 容 、 下 载 数据 、 
发 送 数据 表单 以 及 网 站 维护 任务 自动 化 之 类 的 例子 。 我 们 可 以 用 短 短 几 行 脚本 自动 化 很 多 原本 需 
要 通过 浏览 器 交互 进行 的 活动 。 借 助 HTTP 协 议 所 提供 的 功能 以 及 命令 行 实 用 工具 ， 我 们 可 以 用 
脚本 满足 大 量 的 Web 自 动 化 需求 。 
































5.2 Web 页 面 下 载 
下 载 文件 或 者 Web 页 面 很 简单 。 一 些 命令 行 下 载 工 具 就 可 以 完成 这 项 任务 。 





5.2.1 预备 知识 
wget 是 一 个 用 于 文件 下 载 的 命令 行 工 具 ， 选 项 繁多 且 用 法 灵活 。 
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5.2.2 ”实战 演练 
用 wget 可 以 下 载 Web 页 面 或 远程 文件 : 
$ wget URL 

例如 : 


$ wget knopper.net 
--2016-11-02 21:41:23-- http://knopper.net/ 


Resolving knopper.net... 85.214.68.145 
Connecting to knopper.net|85.214.68.145|:80... 
connected. 

HTTP request sent, awaiting response... 200 OK 


Length: 6899 (6.7K) [text/htmll] 
Saving to: "index.htm1l.1" 


100% [=============================>]45.5K=0.1s 
2016-11-02 21:41:23 (45.5 KB/s) - "index.html.1" saved 
[6899/6899] 


可 以 指定 从 多 个 URL 处 进行 下 载 : 
$ wget URL1 URL2 URL3 .. 
5.2.3 工作 原理 
下 载 的 文件 名 默认 和 URL 中 的 文件 名 会 保持 一 致 ， 下 载 日 志和 进度 被 写 人 stadout。 
你 可 以 通过 选项 -o 指 定 输出 文件 名 。 如 果 存 在 同名 文件 ， 那 么 该 文件 会 被 下 载 文件 所 取代 : 


$ wget http://www.knopper.net -0 knopper.html 


也 可 以 用 选项 -o 指 定 一 个 日 志文 件 ， 这 样 日 志 信息 就 不 会 被 打印 到 stdaout 了 。 


























$ wget ftp://ftp.example.com/somefile.img -0O dloaded file.img -o log 


运行 该 命令 ， 屏 幕 上 不 会 出 现任 何 内 容 。 日 志 或 进度 信息 都 被 写 人 文件 log， 下 载 文 件 为 
dloaded file.img。 


由 于 不 稳定 的 互联 网 连接 ,下载 有 可 能 被 迫 中 断 。 选 项 -t 可 以 指定 在 放弃 下 载 之 前 尝试 多 


少 次 : 








$ wget -t 5 URL 


0 将 -t 选 项 的 值 设 为 0 会 强制 wget 不 断 地 进行 重 试 : 


$ wget -t 0 URL 
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5.2.4 补充 内 容 
wget 还 有 一 些 其 他 选项 可 以 调整 程序 行为 ， 应 对 各 种 情况 。 





1. 下 载 限 速 

当下 载 带宽 有 限 , 却 又 有 多 个 应 用 程序 共享 网 络 连接 时 ， 下 载 大 文件 会 榨 干 所 有 的 带宽 , 严 
重 阻 滞 其 他 进程 ( 可 能 是 交互 式 用 户 )。 选 项 --1imit-rate 可 以 限定 下 载 任务 能 够 占有 的 最 大 
带宽 ， 从 而 保证 其 他 应 用 程序 能 够 公平 地 访问 Internet: 














$ wget --limit-rate 20k http://example.com/file.iso 
在 命令 中 可 以 用 k ( 千 字 节 ) 和 m ( 兆 字 节 ) 指定 速度 限制 。 

选项 --quota 或 -Q 可 以 指定 最 大 下 载 配 额 ( quota )。 配 人 额 一 旦 用 尽 ， 下 载 随 之 停止 。 在 下 载 
多 个 文件 时 ， 对 于 存储 空间 有 限 的 系统 ， 限 制 总 下 载 量 是 有 必要 的 : 

$ wget -Q 100m http://example.com/filel http://example.com/file2 

2. 断 点 续 传 

如 果 wget 在 下 载 完 成 之 前 被 中 断 ， 可 以 利用 选项 -c 从 断 点 开始 继续 下 载 : 

$ wget -c URL 

3. 复制 整个 网 站 镜像 ) 


wget 像 仅 虫 一 样 以 递归 的 方式 遍历 网 页 上 所 有 的 URL 链 接 ， 并 逐个 下 载 。 要 实现 这 种 操作 ， 
可 以 使 用 选项 - -mirror: 
































$ wget --mirror --convert-links exampledomain .com 
或 者 

$ wget -r -N -1 -k DEPTH URL 
选项 -1 指定 页 面 层级 (深度 )。 这 意味 着 wget 只 会 向 下 遍历 指定 层 数 的 页 面 。 该 选项 要 与 -r 
( recursive， 递 归 选 项 ) 一 同 使 用 。 另 外 ，- 表 示 使 用 文件 的 时 间 戳 。URL 表 示 欲 下 载 的 网 站 起 始 地 
址 。-k 或 --convert-links 指 示 wget 将 页 面 的 链接 地 址 转换 为 本 地 地 址 。 


























对 网 站 进行 镜像 时 , 请 三 思 而 行 。 除非 获得 许可 ,否则 你 只 应 出 于 个 人 使 用 
的 目的 才 可 以 这 么 做 ， 而 且 不 要 频繁 地 做 镜像 。 


4. 访问 需要 认证 的 HTTP 或 FTP 页 面 


一 些 网 站 需要 HTTP 或 FTP 认 证 ， 可 以 用 --user 和 --password 提 供认 证 信息 : 














$ wget --user username --password pass URL 
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也 可 以 不 在 命令 行 中 指定 密码 ， 而 是 在 网 页 上 手动 输入 密码 ， 这 就 需要 将 --password 改 为 


--ask-passwordo 


5.3 ”以 纯 文本 形式 下 载 页 面 


Web 页 面 其 实 就 是 包含 HTML 标 签 、JavaScript 和 CSS 的 文本 文件 。HTML 标 签 定义 了 页 面 内 
容 ， 如 果 要 解析 页 面 来 查找 特定 的 内 容 ， 这 时 bash 就 能 派 上 用 场 了 。 可 以 用 浏览 器 查看 HTML 文 
件 格式 是 否 正确 ， 也 可 以 用 之 前 讲 过 的 工具 对 其 进行 处 理 。 


解析 文本 文件 要 比 解析 HTML 数 据 来 得 容易 ， 因 为 不 用 再 去 剥离 HTML 标 签 。Lynx 是 一 球 基 
于 命令 行 的 Web 浏 览 器 ,能够 以 纯 文本 形式 下 载 Web 网 页 。 


5.3.1 预备 知识 | 


1ynx 命 令 默 认 并 没有 安装 在 各 种 发 行 版 中 ， 不 过 可 以 通过 包 管 理 器 来 获取 : 





















































# yum install lynx 
或 者 


apt-get install lynx 


5.3.2 ”实战 演练 

选项 -daump 能 够 以 纯 ASCI 编 码 的 形式 下 载 Web 页 面 。 下 面 的 命令 可 以 将 下 载 到 的 页 面 保存 
到 文件 中 : 

$ lynx URL -dump > webpage as text .txt 


这 个 命令 会 将 页 面 中 所 有 的 超 链接 ( <a href="1link"> ) 作为 文本 文件 的 页 脚 ， 单 独 放置 在 标 
题 为 References 的 区 域 。 这 样 我 们 就 可 以 使 用 正则 表达 式 专门 解析 链接 了 。 例 如 : 




















$lynx -dump http://google.com > plain text page.txt 
你 可 以 用 cat 命 令 查 看 纯 文本 形式 的 网 页 : 


$ cat plain text page.txt 

Search [1]Images [2]Maps [3]Play [4]YouTube [5]News [6]Gmail 
[7]Drive 

[8]More > 

[9]Web History | [10]Settings | [11]Sign in 


[12]St. Patrick's Day 2017 
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Google Search I'm Feeling Lucky [13]Advanced search 
[14]Language tools 
[15]Adqvertising Programs [16]Business Solutions [17]+Google 
[18]About Google 
© 2017 - [19]Privacy - [20]Terms 
References 
、 
5.4 cURL 入 门 


cURL 可 以 使 用 HTTP、HTTPS 、FTP 协 议 在 客户 端 与 服务 器 之 间 传 递 数 据 。 它 支持 POST、 


cookie 、 


认证 、 从 指定 偏 移 处 下 载 部 分 文件 、 参 照 页 (referer )、 用 户 代理 字符 串 、 扩 展 头 部 、 限 





速 、 文 件 大 小 限制 、 进 度 条 等 特性 。cURL 可 用 于 网 站 维护 、 数 据 检 索 以 及 服务 器 配置 核对 。 


5.4.1 








预备 知识 





和 wget 不 同 ， 并 非 所 有 的 Linux 发 行 版 中 都 安装 了 cURL， 你 得 使 用 包 管 理 器 自行 安装 。 


cURL 默 认 会 将 下 载 文 件 输出 到 staout ， 将 进度 信息 输出 到 stdqerr。 如 果 不 想 显示 进度 信 
息 ， 可 以 使 用 --silent 选 项 。 


5.4.2 


























实战 演练 








cuz1 命 令 的 用 途 广泛 ， 其 功能 包括 下 载 、 发 送 各 种 HTTP 请 求 以 及 指定 HTTP 头 部 。 


口 


口 


口 








使 用 下 列 命令 将 下 载 的 文件 输出 到 stdaout : 
$ curl URL 


选项 -o 指 明 将 下 载 数据 写 入 文件， 采用 从 URL 中 解析 出 的 文件 名 。 注 意 ， 其 中 的 URIL 必 
须 是 完整 的 ， 不 能 仅 是 站 点 的 域名 : 




















$ curl www.knopper.net/index.htm --silent -O 


选项 -o 可 以 指定 输出 文件 名 。 如 果 使 用 了 该 选项 ， 只 需要 写 明 站 点 的 域名 就 可 以 下 载 其 
主页 了 : 























$curl www.knopper.net -o knoppix index.html 

% Total % Received % Xferd Avg Speed Time Time Time 

Current 

Dload Upload Total Spent Left Speed 

100 6889 100 6889 0 0 10902 0 --:-- --:-- --:-- 26033 
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口 选项 --silent 可 以 让 curl 命 令 不 显示 进度 信息 : 


$ curl URL --silent 


口 如 果 需 要 在 下 载 过 程 中 显示 形 如 # 的 进度 条 ， 可 以 使 用 选项 --progress: 

















$ curl http://knopper.net -o index.html --progress 
间 打 半 提 村 提 林 六 打 半 提 林 并 打 持 打 半 提 林 闪 打 半 提 村 提 打 音 打 半 提 亲 间 提 # 100 .0% 


5.4.3 ”工作 原理 
cURL 可 以 将 Web 页 面 或 远程 文件 下 载 到 本 地 系统 。 你 可 以 利用 选项 -oO 和 -o 来 设置 目标 文件 
名 ,利用 --silent 和 --progress 来 控制 是 否 显 示 进 度 信 息 。 


5.4.4 ”补充 内 容 5 


前 面 我 们 学 习 了 如 何 下 载 文件 。cURL 还 包括 其 他 一 些 可 以 调整 程序 行为 的 选项 。 


























1. 断 点 续 传 

cURL 能 够 从 特定 的 文件 偏 移 处 继续 下 载 。 如 果 你 每 天 有 流量 限 4 
这 个 功能 非常 有 用 。 

$ curl URL/file -C offset 

偏 移 量 是 以 字 节 为 单位 的 整数 。 如 果 只 是 想 断 点 续 传 ， 那 么 cURL 不 需要 指定 准确 的 字 节 偏 
移 。 要 是 你 希望 cURL 推断 出 正确 的 续 传 位 置 ， 请 使 用 选项 -Cc -， 就 像 这 样 : 


由 ,但 又 要 下 载 大 文件 时 ， 

















$ curl -C - URL 


cURL 会 自动 计算 出 应 该 从 哪里 开始 续 传 。 


2. 用 cURL 设置 参照 页 字符 串 
参照 页 (referer ) "是 位 于 HTTP 头 部 中 的 一 个 字符 事 ， 用 来 标识 用 户 是 从 哪 
个 页 面 到 达 当 前 页 面 的 。 如果 用 户 通 过 点 击 页 面 A 中 的 茶 个 链接 跳 转 到 了 页 面 B， 
那么 页 面 B 头 部 的 参照 页 字符 串 就 会 包含 页 面 A 的 URL。 

一 些 动态 页 面 会 在 返回 HTML 数 据 前 检测 参照 页 字符 串 。 例 如 ， 如 果 用 户 是 通过 Google 搜 索 
来 到 了 当前 页 面 ， 那 么 页 面 上 就 可 以 显示 一 个 Google 的 logo; 如 果 用 户 是 通过 手动 输入 URL 来 到 











当前 页 面 ， 则 显示 其 他 内 容 。 








应 该 是 英文 单词 referrer， 不 过 拼 错 的 人 太 多 了 ， 所 以 编写 标准 的 人 也 就 将 错 就 错 了 。 














CD referer 其 实 
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Web 开 发 人 员 可 以 根据 条 件 作出 判断 : 如 果 参 照 页 是 www.google.com， 那 么 就 返回 一 个 Google 
页 面 ， 和 否则 返回 其 他 页 面 。 
可 以 用 cur1 命 令 的 --referet 选 项 指定 参照 页 字符 串 : 


$ curl --referer Referer URL target_URDLD 


例如 : 


$ curl --referer http://google.com http://knopper.org 
3. 用 cURL 设置 cookie 
我 们 可 以 用 cur1 来 指定 并 存储 HTTP 操 作 过 程 中 使 用 到 的 cookie。 





选项 --cookieCOOKIE_IDENTIFER 可 以 指定 提供 哪些 cookie 。cookies 需 要 以 name=value 


的 形式 来 给 出 。 多 个 cookie 之 间 使 用 分 号 分 隔 : 














$ curl http://example.com --cookie "user=username;pass=hack" 
选项 --cookie-jar 可 以 将 cookie 男 存 为 文件 : 

$ curl URL --cookie-jar cookie file 

4. 用 cURL 设置 用 户 代 理 字符 串 


如 果 不 指定 用 户 代 理 ( user agent )， 一 些 需要 检验 用 户 代理 的 页 面 就 无 法 显示 。 例 如 ， 有 些 
旧 网 站 只 能 在 Internet Explorer (IE ) 下 正常 工作 。 如 果 使 用 其 他 浏览 器 ， 则 会 提示 只 能 用 下 访问 。 
这 是 因为 这 些 网 站 检查 了 用 户 代 理 。 你 可 以 用 cur1 来 设置 用 户 代理 。 


cURL 的 选项 --user-agent 或 -A 用 于 设置 用 户 代 理 : 























$ curl URL --user-agent "Mozilla/5.0" 
cURL 也 能 够 发 送 其 他 HTTP 头 部 信息 。 使 用 -H "Header "传递 多 个 涉 部 信 | 


$ curl -H "Host: www.knopper.net" -H "Accept-language: en" URL 





[ 亚 


浏览 器 和 爬虫 使 用 的 用 户 代理 字符 串 各 不 相同 。 你 可 以 在 这 里 找到 其 中 的 一 
部 分 : http:/www.useragentstring.com/pages/useragentstring.php。 
5. 限定 cURL 可 占用 的 带宽 
如 果 多 个 用 户 共享 带宽 有 限 ， 我 们 可 以 用 --1imit-rate 限 制 cURL 的 下 载 速度 : 
$ curl URL --limit-rate 20k 


在 命令 中 用 k ( 千 字 节 ) 和 m ( 浪 字 节 ) 指定 下 载 速度 限制 。 
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6. 指定 最 大 下 载 量 
可 以 用 --max-filesize 选 项 指定 可 下 载 的 最 大 文件 大 小 : 
$ curl URL --max-filesize bytes 


如 果 文 件 大 小 超出 限制 ， 命令 返回 一 个 非 0 的 退出 码 。 如 果 文 件 下 载 成 功 ， 
则 返回 0。 


7. 用 cURL 进行 认证 
可 以 用 cur1 的 选项 -u 完 成 HTTP 或 FTP 认 证 。 


使 用 -u username:password 来 指定 用 户 名 和 和 密码: 














$ curl -u user:pass http://test_auth.com 5 
如 果 你 喜欢 经 提示 后 输入 密码 ， 只 需要 使 用 用 户 名 即 可 : 

$ curl -u user http://test_auth.com 

8. 只 打印 响应 头 部 信息 〈 不 包括 数据 部 分 ) 


只 检查 头 部 信息 就 足以 完成 很 多 检查 或 统计 。 例 如 ， 如 果 要 检查 某 个 页 面 是 否 能 够 打开 ,并 
不 需要 下 载 整个 页 面 内 容 。 只 读 取 HTTP 响 应 头 部 就 足够 了 。 


检查 HTTP 头 部 的 另 一 种 用 法 就 是 通过 检查 其 中 的 content-Length 字 段 来 得 知 文件 的 大 
， 或 是 检查 Last -Modified 字 段 ， 在 下 载 之 前 了 解 文件 是 否 比 当前 版 本 更 新 。 


选项 -I 或 --head 可 以 只 打印 HTTP 头 部 信息 ， 无 须 下 载 远 程 文件 : 









































小 





$ curl -I http://knopper.net 

HTTP/1.1 200 OK 

Date: Tue, 08 Nov 2016 17:15:21 GMT 

Server: Apache 

Last-Modified: Wed, 26 Oct 2016 23:29:56 GMT 
ETag: "1d3c8-1af3-b10500" 

Accept-Ranges: bytes 

Content-Length: 6899 

Content-Type: text/html; charset=ISO-8859-1 


5.4.5 参考 


参考 5.13 节 。 
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5.5 ”从 命令 行 访问 未 读 的 Gmail 邮件 


Gmail ( https://mail.google.com ) 是 Google 所 提供 的 一 项 被 广泛 使 用 的 免费 电子 邮件 服务 。 你 
可 以 通过 浏览 器 或 经 过 认证 的 RSS feed 来 读 取 个 人 邮件 。 我 们 解析 RSS feed 来 获取 发 件 人 姓名 和 
邮件 主题 。 这 种 方法 无 需 打 开 浏 览 絮 就 能 够 快速 地 查看 未 读 邮 件 。 




















5.5.1 ”实战 演练 
来 看 下 面 这 个 脚本 文件 ， 它 的 作用 是 通过 解析 Gmail 的 RSS feed 来 显示 未 读 的 邮件 : 


#!/bin/bash 
# 用 途 : Gmail 邮件 读 取 工 具 


























USername='PUT_USERNAME_HERE 
password='PUT_PASSWORD_HERE' 


SHOW_COUNT=5 # 需要 显示 的 未 读 邮 件数 量 


echo 
Curl -u Susetrname:Spassword --silent \ 
"https://mail.google.com/mail/feed/atom" | \ 
tr -d '\n' | sed 's:</entry>:\n:g' |\ 
sed -n 
's/.*<title>\(.*\)<\/title.*<author><name>\([^<]*\)<\/name><email> 
NT 全 <] 二 [RE VO [NS3). NSUDJects ULV/ | N 
head -n $(( $SHOW_COUNT * 3 )) 
输出 如 下 : 


$ ./fetch gmail.sh 
From: SLYNUX [ slynux@slynux.com ] 
Subject: Book release - 2 


From: SLYNUX [ slynux@slynux.com ] 
Subject: Book release - 1 


. 5 entries 


如 果 你 的 Gmail 账户 开启 了 双重 身份 认证 ， 那 就 必须 为 此 脚本 生成 一 个 新 的 
密 钥 并 使 用 。 你 的 普通 密码 就 不 能 再 用 了 。 


5.5.2 ”工作 原理 


这 个 脚本 使 用 cURL 来 下 载 RSS feed。 你 可 以 登录 Gmail 账户 ， 在 https:/mail.google.com/mail/ 
feed/atom 查 看 下 载 到 的 数据 格式 。 
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cURL 使 用 -u user: pass 所 提供 的 用 户 认 证 信息 来 读 人 RSS feed。 如 果 只 用 了 -u user， 
cURL 在 运行 时 会 要 求 输入 密码 。 
口 tr -da '\n' 移 除了 所 有 的 换行 符 。 
DQ sed 's:</entry>: \n:g' 将 每 一 处 </entry> 替 换 成 换行 符 ， 以 保证 每 一 条 邮件 项 独立 
成 行 ， 以 便 逐 行 解析 邮件 。 


该 脚本 接 下 来 的 部 分 作为 sed 的 单个 表达 式 执行 ， 用 于 提取 相关 字段 : 


seqd 's/.*<title>\(.*\)<\/title.*<author><name>\([^<]*\)<\/name><email> 
\([^<]*\).*/Author: \2 [\3] \nSubject: \1\n/' 








脚本 用 <titlie>\ (.*\)<\/title 匹 配 邮 件 标题 ， <author><name>\([^<]*\)<\/ name>[ 匹 
配 发 件 人 姓名 ，<email>\ ([^<]*\) 匹 配 发 件 人 电子 邮件 地 址 。seg 利 用 反 向 引用 , 将 邮件 的 作 
者 (author )、 标 题 (title ) 和 主题 ( subject ) 以 易 读 的 形式 显示 出 来 : 








Author: \2 [\3] \nSubject: \1\n 
\1 对 应 于 第 一 处 匹配 ( 邮件 标题 )，\2 对 应 于 第 三 处 匹配 ( 发 件 人 姓名 )， 以 此 类 推 。 
SHOW_COUNT=5 用 来 设置 需要 在 终端 中 显示 的 未 读 邮 件数 量 。 


nead 用 来 显示 SHOW_COUNT*3" 行 文本 。sHOW_COUNT 乘 以 3 是 因为 每 一 封 未 读 邮 件 的 相关 信 
息 需 要 占用 3 行 。 











5.5.3 ”参考 


口 5.4 节 讲解 了 cur1 命 令 。 
口 4.5 节 讲解 了 seq 命 令 。 





5.6 解析 网 站 数据 


lynx、sed 和 awk 都 可 以 用 来 挖掘 网 站 数据 。 在 第 4 章 有 关 grep 的 攻略 中 ( 4.3 节 ), 我 们 见 到 
过 一 份 演员 评级 列表 。 那 个 列表 就 是 通过 解析 http:/www. johntorres.net/BoxOfficefemaleL ist.html 
得 到 的 。 


5.6.1 ”实战 演练 
下 面 来 讲解 用 于 从 网 站 解析 演员 详细 信息 的 命令 : 
































Q@ 这 里 的 SHOW_COUNT*3 行 文本 并 不 包括 脚本 开始 部 分 由 echo 生 成 的 那 一 行 ( 空 行 )。 
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$ lynx -dump -nolist \ 
http://www.johntorres.net/BoxOfficefemaleList.html 
grep -oO "Rank-.*" | \ 
sed -e 's/ *Rank-\([0-9]*\) *\(.*\)/\1\t\2/' | \ 
sort -nk 1 > actresslist.txt 


输出 如 下 : 


# 由 于 篇 幅 有 限 ， 故 只 显示 前 3 位 演员 的 信息 
1 Keira Knightley 
2 Natalie Portman 
3 Monica Bellucci 


5.6.2 ”工作 原理 


Lynx 是 一 个 基于 命令 行 的 网 页 浏览 器 。 它 并 不 会 像 wget 或 cURIL 那 样 输 出 一 堆 原 始 的 HTML 
标签 ,而 是 能 够 像 浏览 器 那样 显示 网 站 的 文本 版 本 。 这 样 就 免 去 了 移 除 HTML 标 签 的 步 又 。1ynx 
的 -nolist 选 项 可 以 显示 不 带 编 号 的 链接 。 按 照 下 面 的 方法 用 seaq 解 析 并 格式 化 包含 Rank 的 行 : 


Sed -e 's/ *Rank-\([0-9]*\) *\(.*\)/\1\t\2/" 


然后 再 根据 评级 情况 对 这 些 行进 行 排序 。 












































5.6.3 ”参考 


口 4.5 节 讲解 了 sed 命 令 。 
口 5.3 节 讲解 了 lynx 命 令 。 


























5.7 ”图片 仆 取 器 及 下 载 工具 


图 片 候 取 器 ( image crawler ) 可 以 下 载 Web 页 面 上 所 有 的 图 片 。 不 用 翻 裔 页 面 手动 保存 图 片 ， 
我 们 可 以 用 脚本 识别 图 片 并 自动 下 载 。 











5.7.1 ”实战 演练 
下 面 的 bash 脚 本 可 以 识别 并 下 载 Web 页 面 上 的 图 片 : 
#!/bin/bash 


# 用 途 :图 片 下 载 工 具 
# 文 件 名 : img_downloader.sh 





if [ S# -ne 3 ]; 


then 
echo "Usage: $0 URL -d DIRECTORY" 
exit, =1 


Fa 
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while [ S$# -gt 0 ] 
do 
case $1 in 
-d) shift; directory=$1; shift ;; 
.PIEST “Shift 
esac 
done 


mkdir -p $directory; 
baseurl=$ (echo Surl | egrep -o "https?://[a-z.\-]+") 


echo Downloading S$url 

CUrL 8 SUrL |, drep =0 img[ SS] sre= [3] *S NN 
Sed “Ss/<imngl lares\ VE NNLAT TN 
sed "s,^/,S$Sbaseurl/," > /tmp/SS .11ist 


cd Sdirectory; 





while read filename; 


do 

echo Downloading $filename 

curl -s -0 "$filename" --silent 
done < /tmp/$$.1ist 
使 用 方法 : 





$ url=https://commons.wikimedia.org/wiki/Main_ Page 
$ ./img_downloader.sh Sur1l -d images 


5.7.2 工作 原理 


图 片 下 载 器 脚本 首先 解析 HTML 页 面 ， 除 去 <img> 之 外 的 所 有 标签 ， 然 后 从 <img> 标 签 中 解 
析出 src="URL" 并 将 图 片 下 载 到 指定 的 目录 中 。 这 个 脚本 接受 一 个 Web 页 面 的 URL 和 用 于 存放 图 
片 的 目录 作为 命令 行 参数 。 


[ $# -ne 3 ] 用 于 检查 脚本 参数 数量 是 否 为 3 个 。 如 果 不 是 ， 脚 本 会 退出 运行 并 显示 使 用 
说 明 。 如 果 参 数 没有 问题 ， 就 解析 URL 和 目标 目录 : 


while [ -n "$1" ] 
do 
case $1 in 
-d) shift; directory=$1; shift ;; 
大 ) Url=${turl:=$1};, Shiftyy 
esac 
done 


while 循 环 会 一 直 处 理 完 所 有 的 参数 。 shi ft 用 来 向 左 移 动 参数 ,这 样 $2 的 值 就 会 被 赋 给 $1， 
$3 的 值 被 赋 给 $2， 往 后 以 此 类 推 。 因 此 通过 $1 就 可 以 求 值 所 有 的 参数 。 
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case 语 句 检 查 第 一 个 参数 ($1 )。 如 果 匹 配 -da, 那么 下 一 个 参数 一 定 是 目录 ， 接 着 就 移动 参 
数 并 保存 目录 名 。 否 则 的 话 ， 就 是 URL。 

采用 这 种 方法 来 解析 命令 行 参数 的 好 处 在 于 可 以 将 -d 置 于 命令 行 中 的 任意 位 置 : 

$ ./img downloader.sh -d DIR URL 
或 者 

$ ./img downloader.sh URL -d DIR 


egrep -o "<img stc=[^>]x>" 只 打印 带 有 属性 值 的 <img> 标 签 。[^>]* 用 来 匹配 除 > 之 外 
的 所 有 字符 ， 也 就 是 <img src="image.jpg">。 








seqd 's/<img src=\"\([^"]*\).*/\1/g' 可 以 从 字符 串 src="url" 中 提取 出 ur1。 

图 像 文件 源 路 径 有 两 种 类 型 ， 相对 路 径 和 绝对 路 径 。 绝 对 路 径 包 含 以 http:// 或 https:// 起 始 
的 完整 URL， 相 对 路 径 则 以 /或 图 像 文 件 名 起 始 。 例 如 http://example.com/image.jpg 就 是 绝对 路 
径 ， 而 /image.jpg 则 是 相对 路 径 。 


对 于 以 /起 始 的 相对 路 径 ， 应 该 用 基 址 URL ( base URL ) 把 它 转 换 为 http://example.com/ 
imagejpg。 脚 本 初始 化 baseuzr1 的 方法 是 使 用 下 列 命令 从 初始 URL 中 提取 基 址 部 分 : 























baseurl=$ (echo Surl | egrep -o "https?://[a-z.\-]+") 

上 述 sed 命 令 的 输出 通过 管道 传人 男 一 个 sed 命 令 ， 后 者 使 用 baseurl 替 换 掉 起 始 的 / 
( leading / )， 其 结果 被 保存 在 以 脚本 PID 为 名 的 文件 中 ( /tmp/$$.list ): 

sed "s,^/,S$Sbaseurl/," > /tmp/s$s$.list 


最 后 的 while 循 环 用 来 逐 行 迭代 图 片 的 URL 列 表 并 使 用 curl 下 载 图 像 文 件 。curl 的 
--silent 选 项 可 避免 在 屏幕 上 出 现下 载 进度 信息 。 








5.7.3 参考 





口 5.4 节 讲解 了 cur1 命 令 。 
口 4.5 节 讲解 了 sed 命 令 。 
口 4.3 节 讲解 了 grep 命 令 。 


























5.8 网 页 相册 生成 器 


Web 开 发 人 员 经 常会 创建 包含 全 尺寸 和 缩 略 图 的 相册 。 点 击 缩 略图 ， 就 会 出 现 一 幅 放 大 的 图 
片 。 但 如 果 需 要 很 多 图 片 ， 每 一 次 都 得 复制 <img> 标 签 、 调 整 图 片 大 小 来 创建 缩 略图 、 把 调整 好 
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的 图 片 放 进 缩 略 图 目录 。 我 们 可 以 写 一 个 简单 的 Bash 脚 本 将 这 些 重 复 的 工作 自动 化 。 这 样 一 来 ， 
创建 缩 略 网 、 将 缩 略图 放 和 人 对 应 的 目录 、 生 成 <img> 标 签 都 可 以 自动 搞定 。 


5.8.1 预备 知识 


脚本 使 用 for 循 环 迭 代 当 前 目录 下 的 所 有 图 片 。 这 需要 借助 一 些 常见 的 bash 工 具 ， 如 cat 和 
convert (来 自 Image Magick 软 件 包 )。 我 们 将 在 index.html 中 生成 一 个 包含 了 所 有 图 片 的 HTML 
相册 。 


5.8.2 ”实战 演练 
生成 HTML 相 册页 面 的 bash 脚 本 如 下 : 
#!/bin/bash 


# 文 件 名 : generate_album.sh 
# 用 途 : 用 当前 目录 下 的 图 片 创建 相册 





echo "Creating album.." 
mkdir -p thumbs 

cat <<EOF1 > index.html 
<html> 

<head> 

<style> 


body 
width:470px; 
margin:auto; 
border: lpx dashed grey; 
padding:10px; 

} 


img 
margin:5px; 
border: lpx solid black; 


} 

</style> 

</head> 

<body> 

<center><hl> #Album title </hl></center> 
<p> 

EOF1 


fOr Tmeo Tn wd Do. 

do 
convert "$img" -resize "100x" "thumbs/$img" 
echo "<a href=\"$img\" >" >>index.html 


176 第 5 章 一 团 乱 麻 ? 没 这 回 事 ! 





echo "<img src=\"thumbs/$img\" title=\"$img\" /></a>" >> index.html 
done 


cat <<EOF2 >> index.html 





echo Album generated to index.html 
\、 一 2 一 时 

运行 脚本 : 

$ ./generate album.sh 


Creating album.. 
Album generated to index.html 


5.8.3 工作 原理 
脚本 的 起 始 部 分 用 于 生成 HTML 页 面 的 头 部 。 
接 下 来 ， 脚 本 将 一 直到 EoF1 的 这 部 分 内 容 ( 不 包括 EoF1 ) 重 定向 到 index.html: 


cat <<EOF1 > index.html 
contents... 
EOF1 


页 面 头 部 包括 HTML 和 CSS 样 式 。 











for img in *.jpg; 对 每 一 个 文件 进行 迭代 并 执行 相应 的 操作 。 
convert "Simg" -resize "100x" "thumbs/s$img" 将 创建 宽度 为 100 像 素 的 图 像 缩 略 图 。 
下 面 的 语句 会 生成 所 需 的 <img> 标 签 并 将 其 添加 到 index.html 中 : 





echo "<a href=\"$img\" >" 
echo "<img src=\"thumbs/$img\" title=\"$img\" /></a>" >> index.html 


最 后 再 用 cat 添 加 HTML 页 脚 ， 实 现 方法 和 添加 页 面 头 部 一 样 。 





5.8.4 参考 











1.6 节 讲解 了 EOF 和 stdin 重 定向 。 








5.9 Twitter 命令 行 客 户 端 








Twitter 不 仅 是 最 流行 的 微 博 平台 , 同时 也 是 最 时 澡 的 在 线 社交 媒体 。 我 们 可 以 使 用 Twitter API 
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从 命令 行 中 读 取 自 己 的 时 间 线 。 
来 看 看 如 何 实现 。 





5.9.1 预备 知识 


最 近 Twitter 已 经 不 再 允许 用 户 使 用 普通 的 HTTP 认 证 (plain HTTP Authentication ) 登录 了 ， 
我 们 必须 使 用 OAuth 进 行 自身 认证 (authenticate ourselves ), 完整 地 讲解 OAuth 超 出 了 本 书 的 范围 ， 
因此 我 们 会 利用 一 个 代码 库 ， 以 便 在 Bash 脚 本 中 可 以 方便 地 使 用 OAuth。 


(1) 从 https://github.conylivibetter/bash-oauth/archive/master.zip 处 下 载 bash-oautn 库 ， 将 其 解 

压缩 到 任意 目录 中 。 

(2) 进入 该 目 录 中 的 bash-oauth-master 子 日 录 以 root 刁 份 执 行 ma ke install-allo 

(3) 进入 https://apps.twitter.com/ 注 册 新 的 应 用 ， 以 便 能 够 使 用 OAuth。 

(4) 注册 完 新 的 应 用 之 后 ， 进 入 应 用 设置 ， 将 Access type 更 改 为 Read and Write。 

(5) 进入 应 用 的 Details 部 分 ， 注意 两 个 地 方 : Consumer Key 和 Consumer Secret， 以 便 在 脚本 
中 替换 相应 的 部 分 。 


不 错 ， 接 下 来 就 该 编写 脚本 了 。 



































Tr 

















5.9.2 ”实战 演练 
下 面 的 bash 脚 本 使 用 OAuth 库 读 取 或 发 送 你 的 tweet: 
#!/bin/bash 
# 文 件 名 : twitter.sh 


# 用 途 :twitter 客 户 端 基本 版 


oauth_consumer_key=YOUR_CONSUMER_KEY 
oauth_consumer_secret=YOUR_CONSUMER_SECRET 


config_file=~/.S$Soauth consumer_key-$Soauth consumer_secret-rc 





TE SN ead WE 

then 
echo -e "Usage: $0 tweet status_message\n OR\n $0 read\n" 
exit -1; 

£i 


#source /usr/local/bin/TwitterOAuth.sh 
source bash-oauth-master/TwitterOAuth.sh 
TO_init 


if [ ! -e $config_ file ]; then 
TO_access,_token helper 
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站 于 $2 a0 ))y then 

echo oauth token=${TO_ret[0]} > $config_ file 

echo oauth token secret=${TO_ ret[1]} >> $config file 
£1i 
Ey 


source $config_file 


if [[ "$1" = "read" ]]; 
then 
TO_statuses_home timeline '' 'YOUR_TWEET_NAME' '10' 
echo $TO_ret | sed 's/,"/\n/g' | sed 's/":/~/' | \ 
awk -F~ '{} \ 
{TE (Sh.=S Ttextr) 
{txt=$2;} \ 
else if ($1 == "screen name") \ 
printf("From: %Ss\n Tweet: %Ss\n\n", $2, txt);} \ 
a 


SLEETLE HVE ATEWEStEY 1] 
then 
shift 
TO_statuses_update '' "$@" 
echo 'Tweeted :)' 
£1i 


运行 脚本 : 


$./twitter.sh read 

Please go to the following link to get the PIN: 
https://api.twitter.com/oauth/authorize? 

oauth token=LONG TOKEN _ STRING 

PIN: PIN FROM WEBSITE 

Now you can create, edit and present Slides offline. 
- by A Googler 

$./twitter.sh tweet "I am reading Packt Shell Scripting Cookbook" 
Tweeted :) 

$./twitter.sh read | head -2 

From: Clif Flynt 

Tweet: I am reading Packt Shell Scripting Cookbook 


5.9.3 ”工作 原理 


首先 ， 使 用 source 命 令 引 入 TwitteroAuth.sh 库 ， 这 样 就 可 以 利用 其 中 定义 好 的 函数 访问 
Twitter 了 。 函 数 ro_init 负 责 初始 化 库 。 
所 有 的 应 用 在 首次 使 用 的 时 候 都 需要 获取 一 个 OAuth 令 牌 (token ) 以 及 令 牌 密 钥 (token 


secret )。 如 果 没 有 得 到 , 则 调用 库 函 数 ro_access_token_helper。 拿 到 令 牌 之 后 , 将 其 保存 
在 config 文 件 中 ， 以 后 再 执行 脚本 时 ， 只 需 对 该 文件 执行 source 命 令 就 可 以 了 。 
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库 函 数 To_statuses_home_timeline 可 以 从 Twitter 中 获取 发 布 的 内 容 。 该 函数 返回 的 数 
据 是 一 个 JSON 格 式 的 长 字符 串 ， 类 似 于 下 列 形式 : 


[{"created at":"Thu Nov 10 14:45:20 +0000 
"016","id":7...9,"iqd str":"7...9","text":"Dining... 


每 条 tweet 都 是 以 created_at 标 签 作 为 起 始 ，, 其 中 还 包含 了 text 和 screen_name 标 签 。 该 
脚本 会 提取 text 和 screen_name 标 签 对 应 的 内 容 并 仅 显示 出 这 两 个 字段 。 


脚本 将 这 个 长 字符 串 分 配给 变量 To_ret。 

JSON 格 式 使 用 引用 字符 串 作 为 键 ， 对 应 的 值 是 否 写 成 引用 形式 均 可 。 键 / 值 序列 之 间 用 逗号 
分 隔 ， 键 与 值 之 间 用 冒号 分 隔 。 

第 一 个 sedq 命 令 将 "替换 成 换行 符 ， 使 得 每 个 键 / 值 序列 都 出 现在 单独 的 一 行 中 。 这 些 行 通 过 
管道 传人 另 一 个 seq 命 令 ,， 在 这 里 将 每 一 处 " : 替换 成 波浪 号 (~ )， 处 理 后 的 结果 类 似 于 这 样 : 





























screen name~"Clif_Flynt" 


最 后 的 awk 脚 本 读 取 每 一 行 。 选 项 -F~ 使 得 awk 在 波浪 号 处 将 行 分 割 成 字段 ， 因 此 $1 中 保存 
的 是 键 ，s2 中 保存 的 是 值 。if 命 令 会 检查 text 或 screen_name。text 在 tweet 中 先 出 现 ， 但 是 
如 果 我 们 先 输出 推送 人 sender ) 的 话 ， 会 更 容易 读 取 。 因 此 脚本 保存 text 所 对 应 的 值 ， 等 碰 到 
screen_name 时 ,输出 $2 的 值 以 及 之 前 保存 的 text 的 值 。 


库 函 数 ro_statuses_updqate 可 用 来 发 布 新 的 tweet。 如 果 该 函数 的 第 一 个 参数 为 空 ， 则 表 
明 使 用 默认 格式 ， 要 发 布 的 内 容 可 以 作为 函数 的 第 二 个 参数 。 
































5.9.4 参考 


口 4.5 节 讲解 了 sed 命 令 。 
口 4.3 节 讲解 了 grep 命 令 。 





5.10 通过 Web 服务 器 查询 单词 含义 


网 上 有 一 些 提供 了 API 的 词典 ， 利 用 这 些 API 可 以 在 脚本 中 通过 网 站 查询 词汇 。 这 则 脚本 展 
示 了 如 何 使 用 其 中 一 款 流行 的 词典 工具 。 








5.10.1 预备 知识 


我 们 打算 使 用 curl 、sed 和 grep 来 编写 一 个 词汇 查询 工具 。 词 典 类 网 站 数不胜数 ， 你 可 以 
注册 并 免费 使 用 网 站 的 API ( 限于 个 人 用 途 )。 在 这 里 ,我 们 使 用 Merriam-Webster 的 词典 API。 请 
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按照 下 列 步 又 执行 。 


(1) 进 入 http:/www.dictionaryapi.com/register/index.htm 注 册 账 户 。 





Learner’s Dictionary。 


(2) 使 用 新 创建 的 用 户 登 录 ， 进 入 My Keys 获 取 密 钥 。 记 下 Learner’s Dictionary 的 密 钥 。 





5.10.2 ”实战 演练 


下 面 这 段 脚本 可 以 显示 出 词汇 含 


#!/bin/bash 
# 文 件 名 : define. 


sh 


# 用 途 : 用 于 从 dictionaryapi .com 获 取 词 汇 含义 


Key=YOUR_API_KEY_HERE 


区 


if [ S$# -ne 2 
then 
echo -e "Usage: 
exit -1; 
£1i 


Cur] -=-SsStlent \ 


$0 WORD NUMBER" 


http://ww.dictionaryapi.com/api/vil/references/learners/xml/Sl?key=$Skey | \ 
grep -Oo \<dt\>.*\</dt\> | \ 
2]*>$$g' | \ 


sed 's$</*[a- 
head -n $2 | 


运行 脚本 : 


$ ./define.sh usb 1 


nl 


1 :a system for connecting a computer to another device (such as 
a printer, keyboard, or mouse) by using a special kind of cord a 
USB cable/port USB is an abbreviation of "Universal Serial Bus."How 


it works... 


5.10.3 工作 原理 


我 们 使 用 cur1 ， 


Ne 




















. 过 
通过 


面 获 取 相 关 数 据 。 包 含 定义 的 查询 结果 位 于 <at> 标 签 中 ， 可 以 使 用 grep 来 将 其 选中 。sed 命 


选择 Collegiate Dictionary 和 


过 指定 API key ( $apikey ) 以 及 待 查找 含义 的 词汇 ($1 ) 从 词典 API 页 





用 于 删除 标签 。 脚 本 从 词汇 含义 中 提取 所 需要 的 行 数 并 使 用 ni 在 行 前 加 上 行 号 。 





5.10.4 ”参考 











口 4.5 节 讲解 了 s 





aq 命 令 

















口 4.3 节 讲解 了 grep 命 令 


今 
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5.11 查找 网 站 中 的 无 效 链接 


我 们 必须 要 检查 网 站 中 的 无 效 链接 。 在 大 型 网 站 上 采用 人 工 方式 检查 是 不 现实 的 。 好 在 这 种 
活 儿 很 容易 实现 自动 化 。 我 们 可 以 利用 HTTP 处 理工 具 来 找 出 无 效 的 链接 。 





5.11.1 预备 知识 


我 们 使 用 1ynx 和 curl 识 别 链接 并 找 出 其 中 的 无 效 链接 。lynx 有 一 个 -traversal 选 项 , 能 够 
以 递归 方式 访问 网 站 页 面 并 建立 所 有 超 链 接 的 列表 。 我 们 可 以 用 cur1 验 证 每 一 个 链接 的 有 效 性 。 








5.11.2 ”实战 演练 
下 面 的 脚本 利用 lynx 和 curl 查 找 Web 页 面 上 的 无 效 链 接 : 


#!/bin/bash 
# 文 件 名 : find_broken.sh 
# 用 途 : 查找 网 站 中 的 无 效 链 接 


if [ $# -ne 1 ]; 

then 
echo -e "S$Usage: $0 URL\nNn" 
exit 1; 

fi 


echo Broken links: 


mkdir /tmp/$$.1lynx 
cd /tmp/$$.1lynx 


lynx -traversal $1 > /dev/null 
count=0; 


sort -u reject.dat > links.txt 


while read link; 
do 
output= curl -I $link -s \ 
| grep -e "HTTP/.*OK" -e "HTTP/.*200"、 
1 [2 OMEDut.. 3 
then 
output= curl -I S$Slink -s | grep -e "HTTP/.*301". 
TEil[ 2 "SOumtput |] 
then 
echo "BROKEN: S$link" 
lJet count+t+ 
else 
echo "MOVED: S$link" 
二 于 
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fi 
done < links.txt 


[ $count -eq 0 ] && echo No broken links founa . 


5.11.3 ”工作 原理 


lynx -traversal URL 会 在 当前 工作 目录 下 生成 多 个 文件 ， 其 中 包括 reject .dat， 该 
文件 包含 网 站 中 的 所 有 链接 。sort -u 用 来 建立 一 个 不 包含 重复 项 的 列表 。 然 后， 我 们 迭代 每 
一 个 链接 并 通过 cur1 -I 检验 接收 到 的 响应 头 部 。 如 果 响 应 头 部 的 第 一 行 包含 HTTP/ 以 及 OK 或 
200， 就 表示 该 链接 正常 。 如 果 和 链接 不 正常 ,进一步 检查 啊 应 状态 码 是 否 为 301 (永久 性 转移 )。 
如 果 仍 不 是 ， 则 将 这 个 无 效 链接 输出 到 屏幕 。 
































从 名 称 上 来 看 , reject.dat 中 包含 的 应 该 是 无 效 URL 的 列表 。 但 其 实 并 非 如 此 ， 
lynx 是 将 所 有 的 URL 全 都 放 到 了 这 个 文件 中 。 
lynx 还 生成 了 一 个 名 为 traverse.errors 的 文件 ,其 中 包含 了 所 有 在 浏览 过 程 中 
(人 存在 问题 的 URL。 但 是 1ynx 只 会 将 返回 HTTP 404(not found) 的 URL 放 入 该 
文件 ， 因 此 会 遗漏 那些 存在 其 他 类 型 错误 的 URL (例如 HTTP 403 Forbidden )。 
这 就 是 为 什么 要 手动 检查 返回 状态 的 原因 。 


5.11.4 ”参考 


口 5.3 节 讲解 了 lynx 命 
口 5.4 节 讲解 了 cur1 命 


o 








今 
今 





o 


5.12 ”跟踪 网 站 变动 

对 于 Web 开 发 人 员 和 用 户 来 说 ， 能 够 跟踪 网 站 的 变动 情况 是 件 好 事 , 但 靠 人 工 检 查 就 不 实际 
了 。 我 们 可 以 编写 一 个 定期 运行 的 变动 跟踪 脚本 来 完成 这 项 任务 。 一 旦 发 生变 动 ,脚本 便 会 发 出 
提醒 。 


























5.12.1 预备 知识 


用 bash 脚 本 跟踪 网 站 变动 意味 着 要 在 不 同 的 时 间 检 索 网 站 , 然后 用 aiff 命 令 进行 比 对 。 我 们 
可 以 使 用 cur1 和 aqaiff 来 实现 。 

















5.12.2 ”实战 演练 
下 面 的 bash 脚 本 结合 了 各 种 命令 来 跟踪 页 面 变动 
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#!/bin/bash 
# 文 件 名 : change_track.sh 
# 用 途 : 跟踪 页 面 变动 


if [ S$# -ne 1 ]; 

then 
echo -e "SUsage: $0 URL\nNn" 
exit 1; 

上 


first time=0 


# 非 首次 运行 


if [ ! -e "last.html" ]; 
then 

first_time=1 

# 首次 运行 
fi 





curl --silent $1 -o recent.html 


if [ $first time -ne 1 ]; 


then 
changes=$ (diff -u last.html recent .html) 
if [ -n "$changes" ]; 
then 


echo -e "Changes:\n" 
echo "$changes" 
else 
echo -e "\nWebsite has no changes" 
fi 
else 
echo "[First run] Archiving.." 


fa 


cp recent.html last.html 
让 我 们 分 别 观察 一 下 网 页 未 发 生变 动 和 发 生变 动 后 脚本 track_changes . sh 的 输出 。 
注意 把 Mywebsite.org 改 成 你 自己 的 网 站 名 。 





口 第 一 次 运行 : 


$ ./track changes.sh http:// www.MyWebSite .org 
[First run] Archiving.. 


口 第 二 次 运行 : 


$ ./track changes.sh http://www.MyWebSite .org 
Website has no changes 


口 在 网 页 变动 后 ， 第 三 次 运行 : 
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$ ./track changes.sh http://www.MyWebSite.org 
Changes: 


--- last.html 2010-08-01 07:29:15.000000000 +0200 
+++ recent.html 2010-08-01 07:29:43.000000000 +0200 
@@ -1,3 +1,4 @@ 
<html> 

+added line :) 

<p>data</p> 
</html> 


5.12.3 工作 原理 


脚本 用 [ ! -e "last.html" ] ;检查 自己 是 否 是 首次 运行 。 如 果 1last .html 不 存在 ， 那 就 
意味 着 这 是 首次 运行 ， 必 须 下 载 Web 页 面 并 将 其 复制 为 last .html。 

如 果 不 是 首次 运行 ， 那 么 脚本 应 该 下 载 一 个 新 的 页 面 副 本 ( recent .html )， 然 后 用 giff 
仿 查 差异 。 如 果 有 变化 ， 则 打印 出 变更 信息 并 将 recent .html 复 制 成 last .html。 

注意 ， 网 站 会 在 作出 修改 的 第 一 次 检查 时 产生 体积 巨大 的 diff 文 件 。 如 果 要 跟踪 多 个 页 面 ， 
你 可 以 为 每 个 网 站 分 别 创 建 相应 的 目录 。 












































5.12.4 ”参考 


5.4 节 讲解 了 cur1 命 令 。 


5.13” 发送 Web 页 面 并 读 取 响应 


POST 和 GET 是 HTTP 的 两 种 请 求 类 型 ， 用 于 发 送 或 检索 信息 。 在 GET 请 求 方式 中 ， 我 们 利用 
页 面 的 URL 来 发 送 参数 ( 名 称 - 值 )。 而 在 POST 请 求 方式 中 , 参数 是 放 在 HTTP 消息 主体 中 发 送 的 。 
POST 方式 常用 于 提交 内 容 较 多 的 表单 或 是 私密 信息 。 
































5.13.1 ”预备 知识 


这 里 我 们 使 用 了 tclhttpd 软 件 包 中 自 带 的 样 例 网 站 guestbook。 你 可 以 从 http:/sourceforge.net/ 
projects/tclhttpd 下 载 Lclhttpd， 然后 在 本 地 系统 上 运行 ,创建 一 个 本 地 Web 服 务 器 。 如 果 用 户 点 
击 按 钮 Add me to your guestbook， 页 面 会 发 送 一 个 包含 姓名 和 URL 的 请 求 ， 请 求 中 的 信息 会 被 
添加 到 guestbook 的 页 面 上 ， 以 显示 出 都 有 谁 访问 过 该 站 点 。 


这 个 过 程 可 以 使 用 一 条 cur1 (或 wget ) 命令 实现 自动 化 。 
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5.13.2 ”实战 演练 
下 载 tclhttpd 软 件 包 ， 切 换 到 bin 目 录 。 启 动 tclhttpd 守 护 进程 


tclsh httpd.tcl 


使 用 cur1l 发 送 POST 请 求 并 读 取 网 站 的 响应 (HTML 格 式 ): 





$ curl URL -d "postvar=postdata2&postvar2=postdata2" 
例如 : 


$ curl http://127.0.0.1:8015/guestbook/newguest .html \ 
-d "name=Clif&url=www.noucorp.com&http=www.noucorp.com" 


cur1 会 打印 出 响应 页 面 : 


<HTML> 

<Head> 

<title>Guestbook Registration Confirmed</title> 
</Head> 

<Body BGCOLOR=white TEXT=black> 

<a href="www.noucorp.com">www.noucorp.com</a> 





<DL> 

<DT>Name 
<DD>C1if 
<DT>URL 

<DD> 

</DL> 

WWW .NOUCOrp.com 


</Body> 

-d 表 示 以 POST 方式 提交 用 户 数据 。-a 的 字符 串 参 数 形式 类 似 于 GET 请 求 。 每 对 var=value 
之 间 用 gx 分 隔 。 

也 可 以 利用 wset 的 --post-aata "string" 来 提交 数据 。 例 如 : 


$ wget http://127.0.0.1:8015/guestbook/newguest .cgi \ 
--post-data "name=Clif&url=www.noucorp.com&http=www.noucorp.com" \ 
-O output.html 


“名 称 - 值 ”的 格式 同 cURL 中 一 样 。output.html 中 的 内 容 和 cURL 命令 返回 的 一 样 。 


以 POST 形式 发 送 的 字符 串 ( 例 如 -qd 或 --post-dqate ) 总 是 应 该 以 引用 的 形 
式 给 出 。 否 则 ，& 会 被 shell 解 读 为 该 命令 需要 作为 后 人 台 进 程 运行 。 


如 果 查 看 网 站 的 源 代码 ( 使 用 网 页 浏览 器 的 View Source 选 项 )， 你 会 发 现 一 个 与 下 面 类 似 的 
HTML 表 单 : 
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<form action="newguest .cgi" " method="post" > 

<ul> 

<11> Name: <input type="text" name="name" size="40" > 
<11> Url: <input type="text" name="url" size="40" > 
<input type="submit" > 

</ul> 

</form> 


其 中 , newguest .cgi 是 目标 URL。 当 用 户 输入 详细 信息 并 点 击 Submit 按 钮 时 ， 姓 名和 URL 就 以 
POST 请 求 的 方式 被 发 送 到 newguest .cgi 页 面 ， 然 后 响应 页 面 被 返回 到 浏览 器 。 

















5.13.3 ”参考 


口 5.4 节 讲解 了 cur1 命 令 。 
口 5.2 节 讲解 了 wget 命 令 。 


























5.14 ”从 Internet 下 载 视频 


下 载 视频 的 原因 有 很 多 。 如 果 你 使 用 的 是 计量 服务 ( metered service )， 可 能 想 要 在 资费 较 低 
的 闲暇 时 段 下 载 视频 。 也 可 能 是 因为 网 络 带 宽 不 足以 支持 流 媒 体 , 亦 或 是 想 永 久保 留 一 份 可 爱 的 
噶 星 人 的 视频 秀 给 好 朋友 们 看 。 














5.14.1 预备 知识 


有 一 个 叫 作 youtupe-dl 的 视频 下 载 工具 。 多 数 发 行 版 中 并 没有 包含 这 个 工具 ， 软 件 仓库 里 
的 版 本 也 未 必 是 最 新 的 ， 因 此 最 好 是 去 官方 网 站 下 载 ( http://yt-dl.org )。 


按照 页 面 上 的 链接 和 信息 下 载 并 安装 youtube-dl。 



































5.14.2 ”实战 演练 


youtube-dl 用 起 来 很 简单 。 打 开 浏 览 器 ， 找 到 你 喜欢 的 视频 。 将 视频 的 URL 复 制 /粘贴 到 
youtube-dl 的 命令 行 中 : 
Youtube-dl https://ww.youtube.com/watch?v=AJrsl13fHQ74 


下 载 完成 之 后 ，youtube-dl 会 在 终端 中 生成 一 条 状态 信息 。 





5.14.3 ”工作 原理 


youtupbe-d1 通 过 向 服务 器 发 出 GET 请 求 〈 就 像 浏览 需 一 样 ) 来 实现 视频 下 载 。 它 会 伪装 成 
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浏览 器 ， 使 得 YouTube 或 其 他 视频 提供 商 以 为 这 是 一 台 流 媒体 设备 ， 从 而 下 载 到 视频 。 


选项 -1ist-formats ( -F ) 会 列 出 支持 的 视频 格式 ， 选 项 -format (-E ) 可 以 指定 下 载 哪 
种 格式 的 视频 。 如 果 你 的 Internet 连 接 带 宽 不 足 , 而 你 又 想 下 载 高 分 辩 率 视频 的 时 候 , 这 个 选项 就 
用 得 上 了 。 











5.15 使 用 OTS 汇总 文本 


开放 文本 摘要 器 ( Open Text Summarizer，OTS ) 可 以 从 文本 中 删除 无 关 紧 要 的 内 容 ， 生 成 
一 份 简洁 的 摘要 。 


5.15.1 ”预备 知识 





大 多 数 Linux 发 行 版 并 不 包含 ofs 软 件 包 ， 可 以 通过 下 列 命令 进行 安装 : 
apt-get install libots-devel 
5.15.2 ”实战 演练 
ots 用 起 来 很 简单 。 它 从 文件 或 stain 中 读 取 输入 ， 将 生成 的 摘要 输出 到 stdaout : 


ots LongFile.txt | less 


或 者 

cat LongFile.txt | ots | less 

ots 也 可 以 结合 cur1 生 成 网 站 的 摘要 人 信息。 例如， 你 可 以 用 ot s 为 那些 架 架 纠 九 的 博客 做 
摘要 : 

curl http://Blogsite.org | sed -r 's/<[^>]+>//g' | ots | less 


5.15.3 工作 原理 


cur1 命 令 从 博客 站 点 中 检索 页 面 并 将 其 传 给 sea。seq 命 令 利用 正则 表达 式 删除 所 有 的 
HTML 标 签 和 分 别 以 小 于 号 和 大 于 号 作为 起 止 的 字符 串 。 余 下 的 文本 被 传人 ots， 后 者 生成 的 摘 
要 信息 由 less 命 令 显 示 出 来 。 





5.16 在 命令 行 中 翻译 文本 


你 可 以 通过 浏览 器 访问 Google 所 提供 的 在 线 翻译 服务 。Andrei Neculau 编 写 了 一 个 awk 脚本 ， 
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可 以 从 命令 行 中 访问 该 服务 并 进行 翻译 。 


5.16.1 ”预备 知识 
大 多 数 Linux 发 行 版 中 都 没有 包含 这 个 命令 行 翻译 器 ， 不 过 你 可 以 从 Git 直 接 安装 : 
cd ~/bin 


wget git.io/trans 
chmod 755 ./trans 





5.16.2 ”实战 演练 


trans 可 以 将 文本 翻译 成 locale 环 境 变 量 所 设置 的 语言 : 








$> trans "J'adore Linux" 
J'adore Linux 
I love Linux 


Translations of J'adore Linux 
French -> English 


J'adore Linux 
I love Linux 


你 可 以 在 待 翻 译 的 文本 前 使 用 选项 来 控制 翻译 所 用 的 语言 。 选 项 格式 如 下 : 














from:to 
要 想 将 英语 翻译 成 法 语 ， 可 以 使 用 下 列 命令 : 


$> trans en:fr "I love Linux" 
J'aime Linux 





5.16.3 ”工作 原理 


trans 程 序 包含 了 5000 行 左右 的 awk 代码 ， 其 中 使 用 了 cur1 来 获取 Google、Bing 以 及 Yandex 
的 翻译 服务 。 
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本 章 内 容 

口 创建 新 的 git 仓 库 口 使 用 fossil 

口 克隆 远程 git 仓 库 口 创建 新 的 fossil 仓 库 

口 使 用 git 添 加 与 提交 变更 口 克隆 远程 fossil 仓 库 

口 使 用 git 创 建 与 合并 分 支 口 打开 fossil 项 目 

口 分 享 工 作成 果 口 使 用 fossil 添 加 与 提交 变更 
口 推送 分 文 口 使 用 fossil 分 支 与 fork 

口 检查 git 仓 库 状 态 口 使 用 fossil 分 享 工作 成 果 
口 查看 git 历 史记 录 口 更 新 本 地 fossil 仓 库 

口 查找 bug 口 检查 fossil 仓 库 状态 

口 快照 标签 口 查看 fossil 历 史记 录 

口 提交 信息 规范 





6.1 简介 


你 开发 应 用 程序 的 时 间 越 长 ， 就 越 能 体会 到 有 一 个 能 够 跟踪 程序 修订 历史 的 软件 是 多 重要 。 
修订 版 本 控制 系统 能 够 为 新 的 解决 方案 创建 一 个 沙 盒 环境 、 维 护 已 发 布 代码 的 多 个 分 支 并 提供 一 
份 开发 历史 记录 ( 在 面 对 知 识 产 权 纠 纷 的 时 候 )。Linux 和 Unix 支 持 众 多 的 源 代码 控制 系统 ， 从 早 
期 原始 的 SCCS 和 RCS 到 诸如 CVS 和 SVN 这 样 的 并 发 系统 以 及 以 Git 和 Fossil 为 代表 的 现代 分 布 式 
开发 系统 。 


相 较 于 旧式 系统 ( 如 CVS 和 SVN )，Git 和 Fossil 的 最 大 优势 在 于 开发 者 无 需 联 网 就 可 以 使 用 。 
当 你 坐 在 办 公 室 时 , 像 CVS 和 RCS 这 样 的 系统 用 起 来 没有 任何 问题 , 但 如 果 要 远程 工作 ,你 就 没 
办 法 处 理 代码 了 。 


Git 和 Fossil 是 两 种 不 同 的 修订 版 本 控制 系统 ， 彼 此 之 间 既 有 相似 之 处 ， 也 有 不 同 点 。 二 者 都 
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支持 分 布 式 开发 模型 。Git 提 供 了 源 代码 控制 功能 以 及 一 些 附加 的 应 用 程序 ， 而 Fossil 就 只 是 单个 
程序 ， 提 供 的 功能 包括 修订 版 本 控制 、 故 障 报告 表 、Wiki、Web 页 面 以 及 技术 笔记 。 


Linux 内 核 开发 以 及 很 多 开源 开发 者 都 采用 了 Git。Fossil 是 专 为 SQLite 开 发 团队 设计 的 , 同时 
它 也 被 广泛 应 用 于 开源 和 闭 源 社区 。 


大 多 数 Linux 发 行 版 中 都 已 经 包含 了 Git。 如 果 你 的 系统 中 还 没有 安装 , 可 以 通过 yum ( Redhat 
或 SuSE ) 或 apt-get( Debian 或 Ubuntu ) 获取 























$ sudo yum install git-all 
$ sudo apt-get install git-all 


0 可 以 从 http://www.fossil-scm.org 下 载 Fossil 的 源 代码 或 可 执行 文件 。 
Git 系 统 使 用 git 命 令 以 及 大 量 的 子 命令 来 完成 各 种 操作 。 接 下 来 我 们 会 讨论 git 克 隆 、git 提 交 、 
git 分 支 等 内 容 。 


在 学 习 使 用 git 前 ,你 得 先 有 个 代码 仓库 。 你 可 以 自己 创建 (针对 自己 的 项 目 ) 或 是 克隆 远程 
仓库 。 




















6.2 创建 新 的 git 仓库 


如 果 你 在 开发 自己 的 项 目 , 那么 可 以 创建 对 应 的 项 目 仓库 。 仓 库 可 以 创建 在 本 地 系统 中 , 也 
可 以 创建 在 如 GitHub 这 样 的 远程 站 点 上 。 











6.2.1 预备 知识 
git 中 的 所 有 项 目 都 需要 有 一 个 用 于 保存 项 目 文件 的 主 目录 (master folder )。 


$ mkdirMyProject 
$ cdMyProject 


6.2.2 ”实战 演练 
gitinit 命 令 会 在 当前 工作 目录 下 创建 子 目录 .git 并 初始 化 git 配 置 文件 。 











$s git init 


6.2.3 工作 原理 
gitinit 命 令 初始 化 一 个 本 地 使 用 的 git 仓 库 。 如 果 你 想 让 远程 用 户 也 能 够 访问 这 个 仓库 ， 
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要 使 用 update-server-info 命 令 : 


$ git update-server-info 


6.3 ”克隆 远程 git 仓库 


如 果 你 打算 访问 别人 的 项 目 , 不 管 是 为 了 贡献 新 的 代码 ,还 是 仅仅 为 了 使 用 该 项 目 , 你 都 需 
要 把 代码 克隆 到 本 地 系统 中 。 

必须 联网 才能 克隆 仓库 。 只 要 将 文件 复制 到 你 自己 的 系统 ， 就 可 以 执行 提交 人 代码、 回溯 到 旧 
版 本 等 操作 了 。 只 有 在 联网 的 状态 下 ， 你 才能 向 上 游 推送 新 的 变更 。 
































实战 演练 


git clone 命 令 可 以 将 文件 从 远程 站 点 复制 到 本 地 系统 中 。 远 程 站 点 可 以 是 匿名 仓库 ( 如 
GitHub )， 也 可 以 是 需要 用 户 名 和 密码 登录 的 系统 。 


从 已 知 的 远程 站 点 ( 如 GitHub ) 克隆 : 





$ git clone http://github.com/ProjectName 
从 需要 用 户 名 和 密码 的 站 点 ( 可 能 是 你 自己 的 服务 器 ) 克隆 : 


$ git clone clif@172.16.183.130:gitTest 
clif@172.16.183.130's password: 


6.4 使 用 git 添加 与 提交 变更 


有 了 git 这 种 分 布 式 版 本 控制 系统 , 你 可 以 在 仓库 的 本 地 副本 上 完成 大 部 分 工作 。 你 可 以 添加 
新 代码 、 改 动 代码 、 测 试 、 修 订 版 本 ,最 后 提交 经 过 完全 测试 的 代码 。 这 鼓励 你 在 本 地 仓库 副本 
上 频繁 进行 多 次 小 型 提交 ， 竺 到 代码 稳定 之 后 ， 再 完成 一 次 大 的 提交 。 



































实战 演练 


git _ add 命令 可 以 将 工作 代码 (working code ) 中 的 变更 添加 到 暂 存 区 。 该 命令 并 不 会 改变 
仓库 内 容 ， 它 只 是 标记 出 此 次 变更 ， 将 其 加 入 下 一 次 提交 中 : 























$ vim SomeFile .sh 
$ git add SomeFile.sh 


如 果 你 希望 在 提交 所 有 变更 的 时 候 不 会 遗漏 某 一 个 ， 最 好 在 每 次 编辑 之 后 都 执行 sit adg。 


你 可 以 使 用 git adg 命 令 将 新 文件 添加 到 仓库 中 : 
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$ echo "my test file" >testfile.txt 
$ git add testfile.txt 


也 可 以 一 次 添加 多 个 文件 : 
$ git add *.c 


git commit 命 令 可 以 将 变更 提交 至 仓库 : 





$ vim OtherFile.sh 
$ git add OtherFile.sh 
$ git commit 


git commit 命 令 会 打开 shell 环 境 变量 EDITOR 中 定义 好 的 编辑 器 ， 其 中 包含 如 下 预 生成 的 
文本 : 


Please enter the commit message for your changes. Lines starting 
with '#' will be ignored, and an empty message aborts the commit. 


Committer: ClifFlynt<clif@cflynt.com> 
On branch branchl 
Changes to be committed: 


(use "git reset HEAD <file>..." to unstage) 


modified: SomeFile.sh 
modified: OtherFile.sh 


输入 注释 信息 之 后 ， 你 所 作出 的 变更 就 被 保存 在 仓库 的 本 地 副本 中 了 。 


这 并 不 会 将 变更 推送 到 主 仓库 中 ( 可 能 是 github ), 但 如 果 其 他 开发 者 在 你 的 系统 中 拥有 账户 
的 话 ， 他 们 可 以 从 你 的 仓库 中 拉 取 新 的 代码 。 


可 以 利用 -a 和 -m 选 项 缩短 add/commit 操 作 的 输入 。 


口 -a: 在 提交 前 加 入 新 的 代码 。 
口 -m: 指定 一 条 信息 ， 不 进入 编辑 器 。 


井 间 间 间 间 间 间 间 间 间 着 












































git commit -am "Add and Commit all modified files." 


6.5 使 用 git 创建 与 合并 分 支 


如 果 你 正在 做 应 用 程序 的 维护 工作 ， 可 能 会 需要 返回 应 用 先前 的 分 支 进行 测试 。 例 如 ， 修复 
一 个 已 经 潜伏 了 很 久 的 bug。 你 想 找 出 这 个 bug 是 什么 时 候 出 现 的 ， 进 而 跟踪 到 引入 该 bug 的 代码 
( 参考 6.11 节 中 的 git bisect 命 令 )。 


在 添加 新 特性 的 时 候 , 应 当 创 建 一 个 新 的 分 支 来 标识 出 这 次 变更 。 新 的 代码 经 过 测试 和 验证 
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之 后 ， 就 可 以 由 项 目 维护 者 将 新 分 支 合 并 和 人 主 分 文 了 。git 的 checkout 子 命令 可 用 于 更 改 及 创建 
新 分 支 。 














6.5.1 预备 知识 
gitinit 或 git clone 可 以 在 系统 中 创建 项 目 。 


6.5.2 ”实战 演练 
切换 到 之 前 创建 的 分 支 : 


$ git checkout OldBranchName 





6.5.3 工作 原理 
checkout 子 命令 会 检查 系统 中 的 .git 目 录 ， 然 后 恢复 与 指定 分 支 相 关联 的 快照 。 


注意 ， 如 果 你 在 当前 工作 区 ( workspace ) 中 尚 有 未 提交 的 变更 ， 则 无 法 切换 到 其 他 已 有 的 
分 支 。 不 过 你 可 以 使 用 checkout 的 选项 -b 来 创建 新 的 分 支 : 








$ git checkout -b MyBranchName 
Switched to a new branch 'MyBranchName' 


该 命令 将 当前 工作 分 支 定义 为 MyBrachName o 它 将 MyBrachName 的 指针 指向 前 一 个 分 支 。 随 着 
变更 的 添加 和 提交 ， 该 指针 会 离 最 初 的 分 文 越 来 越 远 。 


当 测试 过 新 分 支 上 的 代码 后 ， 就 可 以 将 变更 合并 回 起 始 分 支 (the branche you started from ) 
了 oO 








6.5.4 ”补充 内 容 
git branch 命 令 可 以 查看 分 支 : 


$ git branch 
* MyBranchName 
master 


当前 分 支 由 星 号 (* ) 着 重 标 出 。 
合并 分 支 
在 完成 编辑 、 添 加 、 测 试 和 提交 操作 之 后 ， 你 希望 将 变更 合并 回 起 始 分 支 。 
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(1) 实战 演练 

创建 了 新 分 支 ， 添加 并 提交 过 变更 之 后 , 切换 回 起 始 分 支 ， 然后 使 用 git merge 命 令 将 变更 
合并 入 新 分 支 : 
git checkout originalBranch 


git checkout -b modsToOriginalBranch 

编辑 ， 测 试 

git commit -a -m "Comment on modifications to originalBranch" 
git checkout originalBranch 

git merge modsToOriginalBranch 


(2) 工作 原理 


第 一 个 git checkout 命 令 检 索 起 始 分 支 的 快照 。 第 二 个 git checkout 命 令 将 当前 的 工作 
代码 标记 为 新 的 分 支 。 


git commit 命 令 移动 新 分 支 的 快照 指针 ， 使 其 远离 起 始 分 支 。 第 三 个 git checkout 命 令 
将 代码 恢复 到 进行 编辑 和 提交 之 前 的 初始 状态 。 


git merge 命 令 将 起 始 分 支 的 快照 指针 移动 至 正在 合并 的 分 支 快照 。 
(3) 补充 内 容 
如 果 合 并 完 分 支 之 后 不 再 需要 该 分 支 ， 可 以 使 用 选项 -as 进行 删除 : 


$ git branch -d MyBranchName 











WVU 



































6.6 分享 工 作成 果 

不 需要 连接 Internet 就 可 以 使 用 Git 开 展 工 作 。 最 后 ， 你 会 想 要 分 享 自己 的 工作 成 果 。 

有 两 种 方法 可 以 实现 这 一 目标 : 创建 一 个 补丁 或 是 将 新 代码 推送 到 主 仓库 。 

制作 补丁 

补丁 文件 描述 了 已 提交 的 变更 。 其 他 开发 者 可 以 将 你 的 补丁 文件 应 用 到 自己 的 代码 中 来 使 用 
新 的 代码 。 

format -patch 命 令 会 汇集 你 所 作出 的 变更 , 创建 一 个 或 多 个 补丁 文件 。 补丁 文件 名 由 数字 、 
描述 以 及 .patch 组 成 。 














实战 演练 


format-patch 命 令 需 要 一 个 标识 符 来 告诉 Git 第 一 个 补丁 文件 是 哪 一 个 。Git 会 根据 需要 创 








建 相 应 数量 的 补丁 文件 将 代码 修改 成 所 需要 的 样子 。 


标识 首 个 快照 的 方法 不 止 一 种 。 多 个 补丁 文件 的 常见 应 用 之 一 是 将 你 在 特定 分 支 上 所 做 的 变 
更 提交 给 项 目 维护 者 。 假 设 你 在 主 分 支 之 外 创建 了 另 一 个 用 于 新 特性 的 分 文 。 在 完成 测试 之 后 ， 
可 以 将 补丁 文件 发 送 给 该 项 目的 维护 者 ， 由 他 们 来 进行 验证 ， 然 后 将 新 特性 合并 人 项 目 。 


以 父 分 支 名 作为 参数 的 format -patch 子 命令 会 生成 当前 分 支 的 补丁 文件 : 


$ git checkout master 

$ git checkout -b newFeature 

# 编辑 、 添 加 并 提交 

$ git format-patch master 
0001-Patch-add-new-feature-to-menu.patch 
0002-Patch-support-new-feature-in-library.patch 


另 一 种 常见 的 标识 符 是 git 快 照 的 SHA1。 每 个 git 快 照 都 可 以 通过 SHA1 字 符 串 来 标识 。 
你 可 以 使 用 git 1og 命 令 查看 仓库 中 所 有 提交 的 日 志 : 


$ git log 

commit 82567395cb97876e50084fd29c93ccd3dfc9e558 
Author: Clif Flynt <clif@example.com> 

Date: Thu Dec 15 13:38:28 2016 -0500 












































Fixed reported bug #1 

commit 721b3fee54e73fd9752e951d7c9163282dcd66b7 
Author: Clif Flynt <clif@example.com> 

Date: Thu Dec 15 13:36:12 2016 -0500 

Created new feature 

使 用 SHA1 作 为 参数 的 git format-patch 命 令 形 式 如 下 : 
$ git format-patch SHA1 


你 可 以 在 命令 中 使 用 完整 的 SHA1 字 符 串 或 是 只 使 用 其 中 不 重复 的 起 始 部 分 : 


$ git format-patch 721b 
$ git format-patch 721b3fee54e73fd9752e951d7c9163282dcd66b7 


也 可 以 根据 与 当前 位 置 的 距离 来 标识 某 个 快照 ， 这 可 以 通过 选项 -# 来 实现 。 
下 列 命 令 会 为 主 分 支 上 的 最 近 一 次 变更 生成 补丁 文件 : 











$ git format-patch -1 master 


下 列 命 令 会 为 pleedingEgge 分 支 上 最 近 的 两 次 变更 生成 补丁 文件 : 











$ git format-patch -2 bleedingEdge 
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应 用 补丁 

git apply 命 令 可 以 将 补丁 应 用 于 工作 代码 。 在 运行 该 命令 之 前 ， 你 必须 检 出 相应 的 快照 。 
选项 --check 可 以 测试 补丁 是 否 有 效 。 

如 果 应 用 补丁 的 环境 没有 问题 ， 那 么 就 不 会 产生 其 他 输出 。 如 果 你 没有 检 出 正确 的 分 支 ， 


--check 会 输出 错误 信息 : 








$ git apply --check 0001-Patch-new-feature.patch 
error: patch failed: feature.txt:2 
error: feature.txt: patch does not apply 


如 果 通 过 了 --check 的 测试 ， 就 可 以 使 用 git apply 命 令 应 用 补丁 了 : 























$ git apply 0001-Patch-new-feature.patch 


6.7 ”推送 分 支 
你 的 最 终 目标 是 与 所 有 人 分 享 新 的 代码 ， 而 不 是 只 把 补丁 发 送 给 个 别人 。 


git push 命 令 可 以 将 分 支 推送 到 主线 。 


























实战 演练 
如 果 你 有 一 个 唯一 的 分 支 ， 可 以 将 其 推送 到 主 仓库 : 





$ git push origin MyBranchName 


修改 了 现 有 分 支 后 ， 你 可 能 会 接收 到 如 下 错误 信息 。 





D remote:error:Refusing to update checked out branch: refs/heads/master 





DQ remote:error:By default updating the current branch in a non-bare repotory 
在 这 种 情况 下 ， 需 要 将 变更 推送 到 远程 的 新 分 支 上 : 
$ git push origin master:NewBranchName 

男 外 还 需要 提醒 项 目 维护 者 将 该 分 支 合 并 入 主线 : 


# 在 远程 

$ git merge NewBranchName 

从 当前 分 支 检 索 最 新 的 源 。 如 果 项 目 中 有 不 止 一 名 开发 者 ,你 偶尔 需要 与 远程 仓库 执行 同步 ， 
以 检索 有 其 他 开发 者 推送 的 数据 。 
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get fetch 和 git pul1 命 令 可 以 将 数据 从 远程 下 载 到 本 地 仓库 。 





i 更 新 仓库 并 不 会 修改 当前 的 工作 代码 。 





get fetch 和 git pull 命 令 会 下 载 新 的 代码 ， 但 不 会 修改 你 的 工作 代码 。 
get fetch SITENAME 

要 克隆 的 仓库 名 为 origin: 

$ get fetch origin 


下 列 命 令 可 以 从 其 他 开发 者 仓库 中 获取 数据 : 


$ get fetch Username@Address:Project 


Gi 更 新 仓库 以 及 当前 的 工作 代码 。 





git pull 命 令 会 获取 并 合并 变更 到 工作 代码 。 如 果 出 现 冲突 ,命令 将 会 失败 ， 需 要 你 去 解 








$ git pull origin 
$ git pull Username@Address:Project 


6.8 检查 git 仓库 状态 


在 完成 集中 开发 和 调试 后 ， 你 可 能 记 不 清楚 都 做 了 哪些 变更 。git status 命 令 可 以 助 你 一 
辟 之 力 。 





6.8.1 实战 演练 


git status 命 令 会 输出 项 目的 当前 状态 。 告诉 你 当前 所 处 分 支 、 是 否 有 未 提交 的 变更 
以 及 是 否 与 origin 仓 库 " 保 持 同步 : 








$ git status 

# On branch master 

# Your branch is ahead of 'origin/master' by 1 commit. 

# 

# Changed but not updated: 

# se "git add <file>..." to update what will be committed) 

# (use "git checkout -- <file>..." to discard changes in working 





GD origin 是 远程 仓库 的 别名 。 运 行 git remote -v 或 者 查看 .git/config 可 以 看 到 origin 的 含义 。 
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directory) 
# 
#modified: newFeature.tcl 


6.8.2 ”工作 原理 


在 上 面 的 git status 输 出 中 可 以 看 到 已 经 添加 并 提交 了 一 个 变更 , 还 有 一 个 文件 已 经 修改 ， 
但 尚未 提交 。 


这 一 行 显示 有 一 个 未 推送 的 提交 : 





# Your branch is ahead of 'origin/master' by 1 commit. 
以 下 行 说 明文 件 已 经 修改 ,但 尚未 提交 : 


#modified: newFeature.tcl 
gitconfig --global user.name "Your Name" 
gitconfig --global user.email you@example.com 


如 果 用 于 提交 的 身份 信息 不 对 ， 可 以 使 用 下 面 的 命令 修正 : 





git commit --amend --author='Your Name <you@Qexample.com>' 
1 files changed, 1 insertions(+), 0 deletions(-) 
create mode 100644 testfile.txt 


6.9 查看 git 历史 记录 


在 开始 着 手 一 个 项 目 之 前 , 你 应 该 先 回 顾 一 下 项 目 先 前 的 工作 成 果 , 以 便于 同 其 他 开发 者 的 
工作 保持 一 致 。 


git 1og 命 令 可 以 生成 一 份 报告 ， 帮 助 你 了 解 项 目的 一 系列 变更 。 


实战 演练 


git log 命 令 所 生成 的 报告 中 包括 SHA1 ID 、 提 交 快 照 的 作者 、 提 交 日 期 以 及 日 志 信息 : 








$ git log 

commit fa9ef725fe47a34ab8b4488a38db446c6d664f3e 
Author: Clif Flynt <clif@noucorp.com> 

Date: Fri Dec 16 20:58:40 2016 -0500 

Fixed bug # 1234 


6.10 查找 bug 


哪怕 是 最 好 的 测试 组 也 无 法 杜绝 bug。bug 出 现时 ， 只 能 由 开发 者 找 出 原因 并 进行 修复 。 
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git 有 一 些 能 够 帮 得 上 忙 的 工具 。 
没 人 会 故意 制造 bug， 出 现 的 问题 可 能 是 在 修复 旧 bug 或 添加 新 特性 的 时 候 造 成 的 。 






































如 果 你 能 隔离 有 问题 的 代码 ，git blame 命 令 就 可 以 找 出 是 谁 提交 了 这 段 代码 以 及 对 应 


6.10.1 实战 演练 


oit plame 命 令 可 以 返回 一 个 列表 ， 其 中 包含 提交 的 SHA 、 作 者 、 提 交 日 期 以 及 提交 信息 的 
第 一 行 : 


$ git blame testGit .sh 

d5f62aal (Flynt 2016-12-07 09:41:52 -0500 1) Created testGit.sh 
063d573b (Flynt 2016-12-07 09:47:19 -0500 2) Edited on master repo. 
2cal2fbf (Flynt 2016-12-07 10:03:47 -0500 3) Edit created remotely 
and merged. 








6.10.2 补充 内 容 


如 果 在 测试 中 发 现 了 问题 ， 但 是 不 知道 出 错 的 是 哪些 代码 ， 可 以 使 用 sit bisect 命 令 找 出 
引发 问题 的 提交 。 


1. 实战 演练 


git bisect 命 令 需要 两 个 标识 符 ， 一 个 用 于 最 近 所 知 的 好 代码 (the last known good code )， 
男 一 个 用 于 坏 代码 (bad release )。pbisect 命 令 会 找到 位 于 好 代码 和 坏 代码 之 间 的 中 间 提 交点 以 
供 测试 。 

测试 过 之 后 ， 重 置 好 代码 或 坏 代 码 的 指针 。 如 果 测 试 通过 ， 重 置 前 者 ; 如 果 测 试 不 通过 ， 则 
重 置 后 者 。 

然后 git 会 再 次 检 出 一 个 新 的 位 于 好 坏 代码 之 间 的 中 间 提 交点 : 


将 当前 (有 bug 的 ) 代码 拉 取 进 git 仓 库 
git checkout buggyBranch 





















































VW# 


间 


初始 化 git bisect 
git bisect start 


Am 


间 


将 当前 提交 标记 为 bad 
git bisect bad 


J 


间 


将 没有 问题 的 提交 标记 为 good 
拉 取 中 间 提 交点 进行 测试 


EE 
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$ git bisect good v2.5 
Bisecting: 3 revisions left to test after this (roughly 2 steps) 
[6832085b8d358285d9b033cbc6a521a0ffal2f54] New Feature 


# 编译 并 测试 

# 标记 为 good 或 bad 

# 拉 取 下 一 个 提交 进行 测试 

$ git bisect good 

Bisecting: 1 revision left to test after this (roughly 1 step) 
[2cal2fbf1487cbcd0447cf9a924cc5c19f0debf9] Merged. Merge branch 
"bzanchl1' 


2. 工作 原理 


git bisect 命 令 能 够 找 出 好 坏 版 本 之 间 的 中 间 版 本 。 你 可 以 构建 并 测试 这 个 版 本 ， 然 后 重新 
运行 git pisect 来 标记 出 good 或 bad。 接 着 git bisect 再 找 出 好 坏 版 本 之 间 另 一 个 新 的 中 间 版 本 。 








6.11 快照 标签 





一 





git 支 持 使 用 易 记 的 字符 串 和 附加 信息 为 特定 的 快照 打 标 签 。 你 可 以 利用 标签 为 开发 树 
( development tree ) 加 上 信息 (例如 Mergedin new memory management )， 使 其 更 为 清晰 ， 或 是 标 
记 出 分 支 上 特定 的 快照 。 例 如 ， 用 标签 标 出 release-1 分 支 上 的 release-1.0 和 release-1.1。 


git 文 持 轻 量 标签 〈 仅 为 快照 打 标 签 ) 以 及 注解 标签 。 























git 标 签 仅 在 本 地 范围 内 有 效 。git push 默 认 不 会 推送 标签 。 要 想 把 标签 发 送 到 origin 仓 库 
必须 加 上 选项 --tags: 














$ git push origin --tags 


git tag 命 令 包 括 可 以 用 于 添加 、 删 除 和 列 出 标签 的 选项 。 





实战 演练 
不 使 用 选项 的 git tag 命 令 可 以 列 出 可 见 标签 : 
$ git tag 
release-1.0 


release-1.0beta 
release-1.1 


你 可 以 通过 添加 标签 名 在 当前 检 出 中 创建 标签 : 





$ git tag ReleaseCandidate-1 


在 gittag 命 令 中 加 入 指定 提交 的 SHA-1， 就 可 以 为 该 提交 添加 标签 : 
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$ git log --pretty=oneline 
72f76f89601e25a2bf5bce59551be4475ae78972 Initialcheckin 
fecef725fe47a34ab8b4488a38db446c6d664f3e Added menu GUI 
ad606b8306d22f1175439e08d927419c73f4eaa9 Added menu functions 
773fa3a914615556d172163bbda74ef832651led5 Initial action buttons 


$ git tag menuComplete ad606b 
选项 -a 可 以 为 标签 加 入 注解 : 


$ git tag -a tagWithExplanation 
# git 会 打开 编辑 器 ， 创 建 注解 


你 可 以 在 命令 行 中 使 用 -m 选 项 定义 信息 : 
$ git tag -a 七 agWithShortMessage -m "A Short description" 


如 果 使 用 git show 命 令 ， 会 显示 如 下 信息 : 

















$ git Show tagWithShortMessage 


tag 七 agWithShortmessage 
Tagger: Clif Flynt <clif@cflynt.com> 
Date: Fri Dec 23 09:58:19 2016 -0500 





A short description 


选项 -d 可 以 删除 标签 : 


$ git tag 

tagl 

tag2 

tag3 

$ git tag -d tag2 
$ git tag 

tag2 

tag3F 


6.12 提交 信息 规范 


提交 信息 没有 什么 固定 的 形式 ， 只 要 你 觉得 可 以 就 行 。 但 是 在 Git 社 区 中 ,存在 着 一 些 约定 用 法 。 














实战 演练 


口 每 行 长 度 在 72 个 字符 左右 。 使 用 空 行 分 隔 段 落 。 
口 第 一 行 的 长 度 应 该 保持 在 50 个 字符 左右 并 总 结 出 此 次 提交 的 原因 。 其 内 容 应 该 足够 具体 ， 
不 要 泛泛 而 谈 ， 要 让 用 户 一 眼 就 能 看 明白 做 了 什么 。 
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口 不 要 写成 Fix pug， 甚 至 是 Fix bugzilla bug #1234， 应 该 写作 Remove silly messages 
that appear each April 1。 


随后 的 段落 可 以 描述 具体 的 细节 , 这 对 于 希望 跟随 你 工作 成 果 的 用 户 非常 重要 。 代码 中 用 到 


的 全 局 变量 、 副 作用 等 都 要 在 此 提 及 。 如 果 其 中 还 描述 了 你 解决 的 问题 ， 记 得 加 上 bug 报 告 或 特 
性 请 求 的 URL。 

















6.13 ”使 用 fossil 


fossil 是 男 一 种 分 布 式 版 本 控制 系统 。 和 Git 一 样 ， 它 维护 了 一 份 变更 记录 ， 不 管 开 发 者 是 否 
能 够 访问 主 仓库 。 和 Git 不 同 的 是 ，fossil 支 持 自 动 同步 ( auto-synce ) 模式 ， 在 远程 仓库 可 用 的 时 候 
能 够 自动 推送 提交 。 如 果 在 提交 的 时 候 无 法 访问 远程 仓库 ，fossil 会 保存 变更 ， 直 到 下 次 能 够 访 | 


fossil 和 Git 存 在 几 个 方面 的 差异 。fossil 仓 库 是 以 单个 SQLite 数 据 库 的 形式 实现 的 ， 而 不 像 Git 
那样 采用 的 是 一 组 目录 。fossil 应 用 本 身 包含 了 如 Web 界 面 、 故 障 报 告 表 系统 以 及 wiki， 而 Git 是 采 
用 附加 程序 的 形式 来 实现 这 些 服务 的 。 


和 Git 一 样 ，fossil 的 主要 接口 是 fossile 命 令 以 及 执行 特定 操作 的 子 命令 , 例如 创建 新 仓库 、 
克隆 已 有 仓库 、 添 加 、 提 交 文 件 等 。 


fossil 包 含 了 帮助 功能 。fossil 的 help 命 令 会 生成 一 份 所 支持 命令 的 列表 ，fossil help 
CMDNAME 会 显示 出 一 个 帮助 页 面 : 





























上 | 








o 


















































$ fossil help 

Usage: fossil help COMMAND 

Common COMMANDs: (use "fossil help -al-all" for a complete list) 
add cat finfo mv revert timeline 


6.13.1 ”预备 知识 
你 的 系统 中 可 能 并 没有 安装 fossil。 可 以 从 官方 网 站 http:/www.fossil-scm.org 下 载 。 





6.13.2 ”实战 演练 
从 http://www.fossil-scm.org 下 载 适 合 你 所 在 平台 的 fossil 可 执行 文件 ， 然 后 将 其 放 入 bin 目 录 中 。 





6.14 创建 新 的 fossil 仓库 


fossil 易 于 安装 ， 无 论 是 对 于 你 自己 的 项 目 还 是 你 参与 的 已 有 项 目 ， 其 用 起 来 都 很 方便 。 
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fossil new 和 fossil init 命 令 效 果 一 样 。 你 可 以 根据 个 人 喜好 选用 其 中 之 一 。 





6.14.1 ”实战 演练 


fossil new 和 fossil init 命 令 会 创建 一 个 空 的 fossil 仓 库 : 


$ fossil new myProject.fossil 

project-id: 855b0e1457da519d811442d81290b93bdc0869e2 
server-id: 6b7087bce49d9d906c7572faea47cb2d405d7f72 
admin-user: clif (initial password is "f8083e") 


$ fossilinitmyProject.fossil 

project-id: 91832f£f127d77dd523e1l08a9fb0ada24a5deceedd 
server-id: 8c717e7806a08ca2885ca0d62ebebec571fc6d86 
admin-user: clif (initial password is "ee884a") 


6.14.2 ”工作 原理 


fossil new 和 fossil init 命 令 功能 相同 。 两 者 都 会 使 用 指定 名 称 创建 一 个 空 的 仓库 数据 
库 。.fossil 后 组 并 非 强制 性 的 ， 不 过 这 算是 一 个 惯例 。 














6.14.3 ”补充 内 容 
再 来 看 一 些 fossil 的 其 他 用 法 。 
1. fossil 的 Web 界 面 


fossil 的 Web 服 务 器 为 fossil 系 统 特性 ( 包括 配置 、 故 障 报告 表 管 理 、wiki、 图像 化 提交 历史 等 ) 
提供 了 本 地 或 远程 访问 功能 。 


fossil ui 命令 会 启动 一 个 http 服 务 咒 并 将 本 地 浏览 器 连接 到 该 服务 器 上 。 你 可 以 在 浏览 器 
中 执行 所 需要 的 任务 。 


实战 演练 














$ fossilui 
Listening for HTTP requests on TCP port 8080 


#> fossil ui -P 80 
Listening for HTTP requests on TCP port 80 


2. 启用 仓库 的 远程 访问 功能 


fossil server 命 令 会 启动 一 个 fossil 服 务 器 ， 人 允许 远程 用 户 克隆 仓库 。 默 认 情 况 下 ，fossil 
允许 所 有 用 户 克 隆 项 目 。 在 Admin/Users/Anonymous 页 面 禁 止 Admin/Users/Nobody 的 检 入 、 检 出 、 
克隆 以 及 下 载 功能 将 限制 只 有 注册 用 户 才能 远程 访问 仓库 。 
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当 fossil 服 务 器 运行 时 ， 其 支持 Web 界 面 配置 ， 但 是 必须 使 用 创建 仓库 时 的 凭证 登录 。 
fossil 服 务 右 可 以 使 用 仓库 的 完整 路 径 启 动 : 


$ fossil server /home/projects/projectOne.fossil 


fossil 服 务 器 也 可 以 从 fossil 仓 库 的 目录 中 启动 ， 这 时 就 不 需要 指定 仓库 了 








$ cd /home/projects 

$ 1s 

projectOne.fossil 

$ fossil server 

Listening for HTTP requests on TCP port 8080 


6.15 ”克隆 远程 fossil 仓库 


因为 fossil 仓 库 是 包含 在 单个 文件 中 的 , 你 只 需要 复制 该 文件 就 能 完成 仓库 的 克隆 了 。 可 以 采 
用 电子 邮件 附件 、 发 布 到 网 站 或 是 复制 进 U 盘 的 形式 将 仓库 发 送 给 其 他 开发 者 。 


fossil scrub 命 令 可 以 删除 Web 服 务 器 所 需 的 数据 库 用 户 名 和 密码 信息 。 建 议 在 分 发 仓库 
副本 的 时 候 先 执行 这 一 步 。 






































6.15.1 ”实战 演练 


你 可 以 使 用 fossil clone 命 令 从 运行 fossil 服 务 器 的 站 点 上 克隆 仓库 。 该 命令 会 克隆 版 本 历 
史 ， 但 是 并 不 包括 用 户 名 和 密码 信息 : 




















$ fossil clone http://RemoteSite:port projectName.fossil 


6.15.2 ”工作 原理 


fossil clone 命 令 将 远程 站 点 的 仓库 按照 给 定 的 名 称 ( 在 本 例 中 是 projectName.fossil ) 复 
制 为 本 地 文件 。 








6.16 打开 fossil 项 目 


fossil open 命 令 可 以 从 仓库 中 提取 文件 。 保 存 项 目 最 简单 的 方法 就 是 在 fossil 仓 库 目录 下 
创建 一 个 子 目 录 。 





6.16.1 ”实战 演练 
下 载 fossil 仓 库 : 
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$ fossil clone http://example.com/ProjectName project.fossil 


创建 工作 目录 并 切换 到 该 目录 : 








$ mkdirnewFeature 
$ cdnewFeature 


在 工作 目录 中 打开 仓库 : 


$ fossil open ../project.fossil 





6.16.2 ”工作 原理 
fossil open 命 令 可 以 将 已 经 检 入 fossil 仓 库 的 所 有 目录 、 子 目录 以 及 文件 全 部 提取 出 来 。 











6.16.3 ”补充 内 容 


你 可 以 使 用 fossil open 从 仓库 中 提取 代码 的 某 个 修订 版 。 下 面 的 例子 展示 了 如 何 检 出 代 
码 的 1.0 发 行 版 来 修复 一 个 旧 bug。 创 建 一 个 新 的 工作 目录 并 切换 进去 : 


$ mkdir fix 1.0_ Bug 
$ cd fix 1.0_Bug 


在 工作 目录 中 打开 仓库 : 


$ fossil open ../project.fossil release 1.0 





6.17 ”使 用 fossil 添加 与 提交 变更 

创建 仓库 之 后 , 就 该 添加 和 编辑 文件 了 。fossil adqq 命 令 可 以 将 新 文件 添加 到 仓库 , fossil 
commit 命 令 可 以 将 变更 提交 到 仓库 。 这 和 Git 不 同 ，Git 的 aaa 命令 会 标记 出 要 被 添加 的 变更 ， 
commit 俞 令 负 责 实际 的 提交 操作 。 




















6.17.1 ”实战 演练 


下 面 的 例子 展示 了 fossil 在 没有 定义 shell 变 量 EDITOR 或 VISUAL 情况 下 的 行为 。 如 果 定 义 了 
其 中 一 个 变量 ，fossil 就 不 会 在 命令 行 中 发 出 提示 ， 而 是 使 用 编辑 器 ; 








$ echo "example" >example.txt 
$ fossil add example.txt 
ADDED example.txt 


$ fossil commit 
# Enter a commit message for this check-in. Lines beginning with # 
are ignored. 








# user: clif 

# tags: trunk 

# 

# ADDED example.txt 


$ echo "Line 2" >>example.txt 

$ fossil commit 

# Enter a commit message for this check-in. Lines beginning with # 
are ignored. 

# 

# user: clif 

# tags: trunk 

# 

# EDITED example.txt 


6.17.2 补充 内 容 


要 想 编辑 文件 ,你 只 需要 做 提交 就 行 了 。 默 认 情 况 下 ,提交 操作 会 记得 你 在 本 地 仓库 中 作出 
的 所 有 变更 。 如 果 启 用 了 自动 同步 ， 此 次 提交 也 会 被 推送 至 远程 仓库 : 

$ Vim example.txt 

$ Vim otherExample.txt 

$ fossil commit 

# Enter a commit message for this check-in. Lines beginning with # 

are ignored. 

# 

# user: clif 

# tags: trunk 

# 

# EDITED example.txt, otherExample.txt 


6.18 ”使 用 fossil 分 支 与 fork 


在 理想 世界 里 , 开发 树 是 一 条 直线 , 一 个 修订 版 本 直接 跟着 上 一 个 修订 版 本 。 可 是 在 现实 中 ， 
开发 者 经 常 是 从 稳定 的 基础 代码 开始 着 手 ， 对 其 作出 改动 ， 然 后 再 合并 回 主线 。 


对 于 从 主线 代码 上 出 现 的 临时 分 义 ( temporary divergence ) ( 例如， 修复 仓库 中 的 bug ) 和 永 
久 分 义 (permanent divergence ) (例如, 1.x 发 布 版 中 只 修复 bug, 2.x 发 布 版 中 包含 新 的 特性 ), fossil 
系统 作出 了 区 分 。 


在 fossil 的 惯例 中 ,特意 产生 的 分 又 称 为 分 支 (branch )， 无 意 产生 的 分 义 称 为 fork。 例如， 你 
为 正在 开发 的 新 代码 创建 的 是 一 个 分 支 , 而 如 果 你 在 别人 已 经 提交 了 某 个 文件 的 变更 之 后 再 提交 
自己 对 该 文件 的 变更 ， 那 产生 的 就 是 fork， 除 非 你 是 第 一 个 更 新 并 解决 冲突 的 人 。 

分 支 可 分 为 临时 分 支 和 永久 分 支 。 临时 分 支 可 以 是 开发 新 特性 时 创建 的 。 永久 分 支 是 在 制作 
发 行 版 时 创建 的 ， 这 种 分 支 本 就 该 与 主线 代码 分 开 。 
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临时 分 支 和 永久 分 支 都 可 以 使 用 标签 和 属性 进行 管理 。 





当 你 使 用 fossil init 或 fossil new 创 建 fossil 仓 库 时 ， 会 为 开发 树 分 配 名 为 trunk 的 标签 。 








fossil branch 命 令 可 用 于 管理 分 支 。 另 外 还 有 一 些 子 命令 ， 能 够 创建 新 分 支 、 列 举 分 支 
以 及 关闭 分 支 。 





6.18.1 ”实战 演练 


(1) 使 用 分 支 的 第 一 步 是 先 创 建 分 支 。fossil branch new 命 令 可 以 创建 一 个 新 的 分 支 。 
它 能 够 基于 项 目的 当前 检 出 版 本 或 早期 版 本 创建 分 支 。 








(2) fossil branch new 命 令 可 以 基于 指定 版 本 创建 新 分 支 : 





$ fossil branch new NewBranchName Basis-Id 
New branch: 9ae25e77317e509e420a51ffbc43c2blae4034da 


(3) Basis-Id 是 一 个 标识 符 ,用 于 告诉 fossil 新 分 支 要 以 哪个 代码 快照 为 基础 ,指定 Basis-Igd 
的 方法 有 多 种 ， 其 中 最 常用 的 方法 会 在 下 一 节 中 讲 到 。 


(4) 注意 ， 在 将 工作 目录 更 新 到 新 分 支 之 前 需要 执行 一 次 检 出 : 

















$ fossil checkout NewBranchName 


6.18.2 ”工作 原理 











NewBranchName 是 新 分 支 的 名 字 。 在 命名 分 支 时 ， 通 常 的 习惯 是 描述 出 该 分 支 所 作出 的 改 
动 。 例 如 localtime_fixes 或 bug_1234_fix 就 是 常见 的 分 支 名 。 


























Basis-Iq 是 一 个 标识 了 分 支 分 又 点 的 字符 串 。 它 可 以 是 一 个 分 支 名 〈 如 果 分 义 点 是 在 特定 
分 支 的 头 部 )。 


下 面 的 命令 可 以 在 trunk 的 顶端 (tip of a trunk ) 创建 一 个 分 支 : 





$ fossil branch new test_ rework parse logic trunk 
New branch: 9ae25e77317e509e420a51ffbc43c2blae4034da 


$ fossil checkout test rework parse logic 

带 有 选项 --pranch 的 fossil commit 命 令 允 许 在 提交 时 指定 新 的 分 支 名 : 
$ fossil checkout trunk 

# 作出 变更 


$ fossil commit --branch test _ rework parse logic 
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6.18.3 ”补充 内 容 
合并 fork 以 及 分 支 


分 支 和 fork 都 可 以 合并 回 其 父 分 支 。 因 为 fork 属 于 临时 性 质 ， 在 变更 被 采纳 之 后 ， 应 该 立刻 
合并 。 分 支 属 于 永久 性 质 ， 但 即便 如 此 ， 也 是 可 以 合并 回 主线 的 。 


fossil merge 命 令 可 以 将 临时 的 fork 合 并 和 人 另 一 个 分 支 。 
实战 演练 
口 要 创建 临时 fork 并 将 其 合并 回 已 有 分 支 ， 首 先 必 须 检 出 要 使 用 的 分 支 : 

















$ fossil checkout trunk 


口 现在 可 以 开始 编辑 和 测试 了 。 如 果 新 的 代码 没有 问题 ， 就 提交 到 新 分 支 。 选 项 --branch 
会 在 必要 时 创建 新 的 分 支 并 将 其 设置 为 当前 分 支 : 


$ fossil commit --branch new_ logic 


口 代码 经 过 测试 和 验证 后 ， 在 想 合并 入 的 分 支 上 执行 检 出 操作 ， 将 代码 合并 回 相应 的 分 支 ， 
然后 调用 fossil merge 命 令 进行 合并 ， 最 后 提交 合 # 




















$ fossil checkout trunk 
$ fossil merge new_ logic 
$ fossil commit 


口 fossile 和 Git 在 这 方面 略 有 不 同 。git merge 命 令 会 更 新 仓库 ， 而 fossil merge 命 令 直 到 
提交 合并 时 才 会 修改 仓库 。 








6.19 ”使 用 fossil 分 享 工作 成 果 


如 果 你 使 用 了 多 个 开发 平台 或 是 参与 了 他 人 的 项 目 , 就 需要 在 本 地 仓库 与 远程 主 仓库 之 间 进 
行 同步 。fossil 为 此 提供 了 多 种 方法 。 



































6.19.1 ”实战 演练 
fossil 默 认 运 行 在 autosync 模 式 下。 在 这 种 模式 下 ， 你 的 提交 会 自动 同步 到 远程 仓库 。 


fossil setting 命 今 令 可 以 启用 或 禁止 autosync 设 置 : 

















$ fossil setting autosync off 
$ fossil setting autosync on 


如 果 禁 用 了 autosync 模 式 ( fossil 运 行 在 手动 合并 模式 下 )， 你 就 必须 使 用 fossil pusn 命 
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令 将 本 地 仓库 中 的 变更 推送 到 远程 仓库 : 


$ fossil push 








6.19.2 ”工作 原理 
push 命 令 能 够 将 本 地 仓库 的 所 有 变更 推送 至 远程 仓库 。 它 不 会 修改 任何 检 出 代码 。 


6.20 ”更 新 本 地 fossil 仓库 


向 远程 仓库 推送 相反 的 操作 就 是 更 新 本 地 仓库 。 如 果 你 在 笔记 本 电脑 上 进行 开发 ,而 主 仓库 
位 于 公司 服务 右上 , 或 是 你 和 他 人 共同 开发 蘑 个 项 目 , 需要 与 同事 的 开发 进度 保持 一 致 ， 在 这 些 
情况 下 ， 你 就 需要 更 新 本 地 仓库 了 。 



































实战 演练 


fossil 不 会 自动 向 远程 仓库 推送 更 新 。fossil pul1 命 令 会 将 更 新 拉 取 到 本 地 仓库 。 它 会 更 
新 仓库 ,但 不 会 修改 你 当前 的 工作 代码 : 


$ fossil pull 


如 果 仓 库 中 存在 变更 ，fossil checkout 命 令 会 更 新 工作 代码 : 
































$ fossilcheckout 


你 可 以 使 用 fossil update 命 令 来 结合 pull 和 checkout 这 两 个 子 目 录 的 功能 : 





$ fossil update 
UPDATE main.tcl 


updated-to: 47c85d29075b25aa0d61f39d56f61f72ac2aae67 2016-12-20 
17:35:49 UTC 


tags: trunk 
Comment : Ticket 1234abc workaround (user: clif) 
changes: 1 file modified. 


"fossil undo" is available to undo changes to the working checkout. 


6.21 检查 fossil 仓库 状态 


在 着 手 新 的 开发 之 前 , 你 应 该 将 本 地 仓库 与 主 仓库 进行 比较 。 你 不 会 希望 自己 花 时 间 编 写 出 
来 的 代码 与 已 接受 的 代码 发 生 冲 突 。 


























210 第 6 章 仓储 管理 





实战 演练 


fossil status 命 令 会 报告 项 目的 当前 状态 、 是 否 有 未 提交 的 编辑 以 及 工作 代码 是 否 在 分 
支 顶 端 : 


$ fossil status 





repository: /home/clif/myProject/../myProject.fossil 
local-root: /home/clif/myProject/ 

config-db: /home/clif/.fossil 

checkout: 47c85d29075b25aa0d61f39d56f61f72ac2aae67 2016-12-20 
17:35:49 UTC 

parent: f3c579cd47d383980770341e9c079a87d92b1l7db 2016-12-20 
17:33:38 UTC 

tags: trunk 

comment: Ticket 1234abc workaround (user: clif) 

EDITED main.tcl 

如 果 在 最 后 一 次 检 出 之 后 向 工作 分 支 发 起 过 提交 ， 输 出 的 状态 信息 中 会 包含 如 下 行 : 
child: abcdef123456789... YYYY-MM-DD HH:MM: :SS UTC 





这 表明 代码 有 一 次 提交 。 在 向 分 支 头 部 提交 之 前 ， 你 必须 使 用 fossil update 命 令 完成 工 
作 代 码 的 副本 的 同步 。 这 可 能 需要 手动 解决 冲突 。 

注意 , fossil 只 能 够 反映 出 本 地 仓库 的 数据 。 如 果 变 更 已 作出 , 但 尚未 推送 至 服务 器 并 拉 取 到 
本 地 人 仓库， 这些 信息 是 不 会 显示 出 来 的 。 你 应 该 在 使 用 fossil status 之 前 调用 fossil sync， 
确保 仓库 处 于 最 新 状态 。 



































6.22 ”查看 fossil 历史 记录 


fossil server 和 fossil ui 命令 会 启动 fossil 的 Web 服 务 器 ， 使 你 可 以 通过 浏览 器 查看 检 
入 历史 以 及 翻阅 代码 。 

timeline 标 签 提 供 了 分 支 、 提 交 以 及 合并 的 树 状 结构 视图 。 Web 界 面 支持 查看 与 提交 相关 的 源 
代码 ， 能 够 在 不 同 的 代码 版 本 之 间 执 行 差异 比较 。 








实战 演练 


在 UI 模式 下 启动 fossil。 它 会 查找 浏览 器 并 打开 主页 。 如 果 操 作 失 败 ， 你 可 以 为 fossil 指 定 浏 
览 锅 : 





$ fossil ui 
Listening for HTTP requests on TCP port 8080 


$ konqueror 127.0.0.1:8080 


6.22 ”查看 fossil 历史 记录 211 








| PacktT... x >》 中 > 





所 localhost:8080/timeline C ||Q search 安 | 自 » 三 





Packt Test / Timeline clif 


Home Timeline Files Branches Tags Tickets Wiki Admin 





Unhide “Max:|50 |[Any Type |$|[Without Files | 





25 timeline items 








2016-12-20 
17:35 ‘[47c85d2907] Leaf: Ticket 1234abc workaround (user: clif, tags: trunk) | 
17:33 [13c579cd47] Not shipped yet (user: clif, tags: trunk) | 
17:30 [c33415c255] local tweak. (user: clif, tags: trunk) 
17:12 [7a7e2580c4] tset no autosync (user: clif, tags: trunk) 
37;10 [24edea3616] Needs a push (user: clif, tags: trunk) 
17:05 [f64ca30c29] A thing on trunk. (user: clif, tags: trunk) 
16:44 [977e4ebcd5] Leaf: Second commit (user: clif, tags: logic3) 
16:44 [7fc2cd8ea21 First commit (user: clif_taas: loaic3) 本 














图 6-1 


1. 查找 bug 
fossil 提 供 了 一 些 工具 ， 能 够 帮助 我 们 定位 引入 bug 的 提交 ， 见 表 6-1。 


表 6-1 

















工 只 描 述 
fossil diff 显示 文件 的 两 个 修订 版 本 之 间 的 差异 
fossil blame 生成 报表 ， 显 示 出 文件 中 每 一 行 的 提交 信息 
fossil bisect 在 应 用 程序 的 好 坏 版 本 之 间 进 行 二 分 搜索 
































(1) 实战 演练 


fossil diff 命 令 包含 若干 选项 。 在 查找 引入 问题 的 代码 时 ,我 们 通常 会 在 文件 的 两 个 不 同 
版 本 之 间 比 较 差异 。fossil diff 的 选项 -from 和 -to 就 可 以 完成 这 项 操作 : 


$ fossil diff -from ID-1 -to ID-2FILENAME 


ID-1 和 ID-2 是 仓库 中 使 用 的 标识 符 。 它 们 可 以 是 SHA-1、 标 签 或 日 期 等 。FILENAME 是 所 提交 
的 文件 名 。 


下 面 的 命令 可 以 查找 出 文件 main.tcl 的 两 个 不 同 修订 版 之 间 的 差异 : 


$ fossil diff -from 47c85 -to 7a7e25 main.tcl 











Index: main.tcl 


--- main.tcl 
+++ main.tcl 
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@@ -9,10 +9,5 @@ 


set max 10 

set min 1 

+ While {$x < $max} { 

- for {set x $min} {$x < $max} {incr x} { 
一 process $x 

-3} 


(2) 补充 内 容 


了 解 不 同 修订 版 本 之 间 的 差异 固然 有 用 , 但 更 有 帮助 的 是 通过 注解 整个 文件 来 显示 出 每 一 行 
的 添加 时 间 。 


fossil plame 命 令 能 够 生成 文件 的 注解 列表 ， 显 示 出 每 行 都 是 何 时 添加 的 : 











$ fossil blame main.tcl 


7806f43641 2016-12-18 clif: # main.tcl 

06e155a6c2 2016-12-19 clif: # ClifFlynt 

b2420ef6be 2016-12-19 Clif: # Packt fossil Test Script 
a387090833 2016-12-19 clif: 

76074da03c 2016-12-20 clif: for {set i 0} {$i < 10} {incr 
i} { 

76074da03c 2016-12-20 clif: puts "Buy my book" 

2204206a18 2016-12-20 clif: } 

7a7e2580c4 2016-12-20 clif: 





如 果 你 确定 了 问题 出 在 哪个 版 本 中 ， 就 应 该 将 注意 力 集中 在 该 版 本 上 。 


fossil bisect 命 令 为 此 提供 了 支持 。 它 可 以 让 你 定义 代码 的 好 坏 版 本 并 自动 检 出 两 者 之 
间 的 一 个 版 本 进行 测试 。 然 后 你 可 以 将 此 版 本 标记 为 好 版 本 或 坏 版 本 ， 由 fossil 重 复 上 述 过 程 。 
fossil bisect 会 生成 一 份 报表 ， 显 示 出 测试 了 多 少 个 版 本 以 及 还 有 多 少 版 本 需要 测试 。 


(1) 实战 演练 


fossil bisect reset 命 令 可 以 初始 化 好 坏 版 本 指针 。fossil bisect good 和 fossil 
bisect bagd 命 令 会 标记 出 好 版 本 和 坏 版 本 并 检 出 这 两 个 版 本 之 间 的 中 间 版 本 : 


$ fossil bisect reset 

$ fossil bisect good 63elel 
$ fossil bisect bad 47c85d 
UPDATE main.tcl 


updated-to: f64ca30c29df0f985105409700992d54e 2016-12-20 17:05:44 UTC 


tags: trunk 
Comment : Reworked flaky test. (user: clif) 
changes: 1 file modified. 


"fossil] undo" is available to undo changes to the working checkout. 
2 BAD 2016-12-20 17:35:49 47c85d29075b25aa 
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3 CURRENT 2016-12-20 17:05:44 f64ca30c29df0f98 
1 GOOD 2016-12-19 23:03:22 63ele1290f853d76 


测试 过 f64ca 版 本 的 代码 后 ， 将 其 标记 为 go0d 或 bad，fossil bisect 将 会 接着 检 出 下 一 个 版 
本 进行 测试 。 


(2) 补充 内 容 


fossil bisect status 命 令 会 生成 一 份 报表 ， 其 中 包含 了 可 用 版 本 以 及 标记 出 的 已 测试 
版 本 。 

$ fossil bisect status 

2016-12-20 17:35:49 47c85d2907 BAD 

2016-12-20 17:33:38 f3c579cd47 

2016-12-20 17:30:03 c33415c255 CURRENT NEXT 

2016-12-20 17:12:04 7a7e2580c4 


2016-12-20 17:10:35 24edea3616 
2016-12-20 17:05:44 f64ca30c29 GOOD 


2. 为 快照 打 标 签 


fossil 开 发 树 上 的 每 一 个 节点 都 可 以 有 一 个 或 多 个 标签 。 标签 可 用 于 标识 发 行 版 、 分 支 或 是 需 
要 引用 的 特定 里 程 碑 版 本 。 例 如 , 你 希望 在 release-1 分 支 中 使 用 标签 来 标识 release-1.0 、release-1.1 
等 。 在 检 出 或 合并 操作 中 ， 也 可 以 不 使 用 SHA-1， 而 换 用 标签 。 


标签 是 通过 fossil tag 命 令 来 实现 的 。fossil 支 持 多 个 子 命令 ， 可 用 于 添加 、 取 消 、 查 找 和 
列举 标签 。 


使 用 fossil tag add 命 令 创建 一 个 新 的 标签 : 























$ fossil tag add TagName Identifier 

(1) 实战 演练 

TagName 是 分 支 名 o 

Identifier 是 需要 打 标 签 的 节点 标识 符 。 可 以 采用 下 列 形式 。 


口 分 支 名 : 为 该 分 支 上 最 近 一 次 提交 打 标 签 。 

口 SHA-1: 为 拥有 该 SHA-1 的 提交 打 标 签 。 

口 日 期 稚 (YYYY-MM-DD ): 为 该 日 期 稚 之 前 的 提交 打 标 签 。 

口 时 间 戳 (YYYYMM-DD HH:MM:SS ): 为 该 时 间 戳 之 前 的 提交 打 标 签 。 


























# 为 trunk 分 支 的 顶端 打上 标签 release _ 1.0 
$ fossil add tag release 1.0 trunk 


# 为 12 月 15 日 的 最 后 一 次 提交 打上 标签 beta release_1 
$ fossil add tag beta release 1 2016-12-16 
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(2) 补充 内 容 
标签 也 可 以 作为 创建 fork 或 分 支 时 的 标识 符 : 


$ fossil add tag newTag trunk 
$ fossil branch new newTagBranchnewTag 
$ fossil checkout newTagBranch 


在 带 有 -branch 选 项 的 commit 命 令 中 ， 标 签 可 用 于 创建 分 支 : 


$ fossil add tag myNewTag 2016-12-21 
$ fossil checkout myNewTag 
# 编辑 并 修改 


$ fossil commit -branch myNewTag 


B 计 划 














本 章 内 容 

口 使 用 tar 归 档 口 创建 压缩 文件 系统 

口 使 用 cpio 归 档 口 使 用 rsync 备 份 系统 快照 

口 使 用 gzip 压 缩 数 据 口 差异 化 归档 

口 使 用 zip 归 档 及 压缩 口 使 用 fsarchivez 创 建 全 盘 镜 像 
口 更 快 的 归档 工具 pbzip2 


7.1 简介 

















书 到 用 时 方 恨 少 ,备份 也 是 一 样 。 因 此 ， 自 动 备份 必 不 可 少 。 随 着 磁盘 存储 技术 的 发 展 ,最 
简单 的 备份 方法 就 是 添加 新 的 磁盘 设备 或 是 使 用 云 存 储 , 而 不 再 是 依赖 磁带 。 但 即便 是 磁盘 设备 
或 云 存储 的 价格 便宜 ,也 应 该 压缩 备份 数据 ， 降 低 存储 空间 需求 以 及 传输 时 间 。 把 数据 存放 在 云 
端 之 前 应 该 对 其 加 密 。 数 据 在 加 密 之 前 通常 都 要 先进 行 归档 和 压缩 。 本 章 讲 述 了 创建 和 维护 文件 
或 文件 夹 归 档 、 压 缩 格式 以 及 加 密 技术 。 













































































7.2 使 用 tar 归档 


tar 命 令 可 以 归档 文件 。 它 最 初 是 设计 用 来 将 数据 存储 在 磁带 上 ， 因 此 其 名 字 也 来 源 于 Tape 
ARchive。tar 可 以 将 多 个 文件 和 文件 夹 打 包 为 单个 文件 ， 同 时 还 能 保留 所 有 的 文件 属性 ， 如 所 
有 者 、 权 限 等 。 由 tar 创 建 的 文件 通常 称 为 tarball。 在 这 则 攻略 里 , 我 们 将 学 习 如 何 使 用 tar 创 建 
归档 文件 。 


























7.2.1 预备 知识 
所 有 类 Unix 操 作 系 统 中 都 默认 包含 car 命 令 。 它 语法 简单 ， 文 件 格式 具备 可 移植 性 。tar 支 
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持 多 种 选项 ， 可 用 于 调整 命令 的 行为 。 


7.2.2 ”实战 演练 
tar 命 令 可 以 创建 、 更 新 、 检 查 以 及 解 包 归档 文件 。 
(1) 用 tar 创 建 归档 文件 : 
$ tar -cf output.tar [SOURCES] 
i 0 
小 : 


$ tar -cf archive.tar filel file2 file3 folderl .. 


(2) 选项 -t 可 以 列 出 归档 文件 中 所 包含 的 文件 : 








$ tar -tf archive.tar 
filel 
file2 


(3) 选项 -v 或 -vv 参数 可 以 在 命令 输出 中 加 入 更 多 的 细节 信息 。 这 个 特性 叫 作 “ 宛 长 模式 (v， 
verbose )” 或 “非常 兄长 模式 (vv，very verbose )”。 对 于 能 够 在 终端 中 生成 报告 的 命令 ， 
-Vv 是 一 个 约定 的 选项 。 该 选项 能 够 显示 出 更 多 的 细节 ， 例 如 文件 权限 、 所 有 者 所 属 的 分 
组 、 文 件 修改 日 期 等 信息 : 


$ tar -tvf archive.tar 
-rw-rw-r-- shaan/shaan 0 2013-04-08 21:34 filel 
-rw-rw-r-- shaan/shaan 0 2013-04-08 21:34 file2 














文件 名 必须 紧 跟 在 -f 之 后 出 现 , 而 且 -f 应 该 是 选项 中 的 最 后 一 个 。 假 如 你 
0 希望 使 用 宛 长 模式 ， 应 该 像 这 样 写 : 


$ tar -cvf output .tar filel file2 file3 folderl .. 


7.2.3 工作 原理 

tar 命 令 可 以 接受 一 组 文件 名 或 是 通配符 ( 如 * .txt )， 以 此 指定 需要 进行 归档 的 源 文件 。 命 
令 执行 完毕 后 ， 所 有 的 源 文件 都 会 被 归 和 指定 的 归档 文件 中 。 

命令 行 参 数 有 数量 限制 ， 我 们 无 法 一 次 性 传递 数 百 个 文件 或 目录 。 如 果 要 归档 的 文件 很 多 ， 
那么 使 用 追加 选项 ( 详 见 下 文 ) 要 更 安全 些 。 














7.2.4 补充 内 容 
让 我 们 再 来 看 看 tar 命 令 的 其 他 特性 。 
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1. 向 归档 文件 中 追加 文件 

选项 -z 可 以 将 新 文件 追加 到 已 有 的 归档 文件 未 尾 : 
$ tar -rvf original.tar new file 

创建 一 个 包含 文本 文件 的 归档 : 


$ echo hello >hello.txt 
$ tar -cf archive.tar hello.txt 





选项 -t 可 以 列 出 归档 文件 中 的 内 容 。 选 项 -f 可 以 指定 归档 文件 名 : 


$ tar -tf archive.tar 
hello.txt 


接着 使 用 选项 -r 向 该 归档 文件 中 再 追加 一 个 文件 : 
$ tar -rf archive.tar world.txt 
$ tar -tf archive.tar 


hello.txt 
world.txt 


这 个 归档 文件 中 现在 包含 了 两 个 文件 。 
2. 从 归档 文件 中 提取 文件 或 目录 
选项 -x 可 以 将 归档 文件 的 内 容 提 取 到 当前 目录 : 





$ tar -xf archive.tar 
使 用 -x 时 ， tar 命令 将 归档 文件 中 的 内 容 提取 到 当前 目录 。 我 们 也 可 以 用 选项 -c 来 指定 将 文 
件 提取 到 哪个 目录 : 

$ tar -xf archive.tar -C /path/to/extraction directory 
该 命令 将 归档 文件 的 内 容 提 取 到 指定 目录 中 。 它 提取 的 是 归档 文件 中 的 全 部 内 容 。 我 们 可 以 通过 
将 文件 名 作为 命令 行 参 数 来 提取 特定 的 文件 : 

$ tar -xvf file.tar filel file4 


上 面 的 命令 只 提取 file1 和 file4， 和 忽略 其 他 文件 。 



































3. 在 tar 中 使 用 stain 和 stdout 


在 归档 时 , 我 们 可 以 将 staout 指 定 为 输出 文件 , 这 样 男 一 个 命令 就 可 以 通过 管道 来 读 取 ( 作 
为 stdin ) 并 进行 其 他 处 理 。 


当 通 过 安全 shell ( Secure Shell，SSH ) 传输 数据 时 ， 这 招 很 管用 。 例 如 : 























$ tar cvf - files/ | ssh user@Qexample.com "tar XV -C Documents/" 
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在 上 面 的 例子 中 ， 对 他 es 目录 中 的 内 容 进 行 了 归档 并 将 其 输出 到 stdqout (由 -指明 )， 然 后 
提取 到 远程 系统 中 的 Documents 目 录 中 。 


4. 拼接 两 个 归档 文件 
我 们 可 以 用 选项 -A 合并 多 个 tar 文 件 。 


假设 我 们 现在 有 两 个 tar 文 件 : filel.tar 和 file2.tar。 下 面 的 命令 可 以 将 fle2.tar 的 内 容 合 并 到 
filel.tar 中 : 








$ tar -Af filel.tar file2.tar 

查看 内 容 ， 验 证 操作 是 否 成 功 : 

$ tar -tvf filel.tar 

5. 通过 检查 时 间 稚 来 更 新 归档 文件 中 的 内 容 

追加 选项 ( -r ) 可 以 将 指定 的 任意 文件 加 入 到 归档 文件 中 。 如 果 同 名 文件 已 经 存在 , 那么 归 
档 文件 中 就 会 包含 两 个 名 字 一 样 的 文件 。 我们 可 以 用 更 新 选项 -u 指 明 : 只 添加 比 归 档 文件 中 的 同 
名 文件 更 新 (newer ) 的 文件 。 























$ tar -tf archive .七 ar 
filea 
fileb 
filec 


仅 当 filea 自 上 次 被 加 入 archive.tar 后 出 现 了 改动 才 对 其 执行 追加 操作 : 
$ tar -uf archive.tar filea 

如 果 两 个 filea 的 时 间 戳 相同 ， 则 什么 都 不 会 发 生 。 

使 用 Fouch 命 令 修改 文件 的 时 间 惟 ， 然 后 再 用 Far 命 令 ; 


$ tar -uvvf archive.tar filea 
-rw-r--r-- slynux/slynux 0 2010-08-14 17:53 filea 


因为 时 间 戳 比 归档 文件 中 的 同名 文件 更 新 ， 因 此 执行 追加 操作 。 可 以 用 选项 -t 来 验证 : 


$ tar -tf archive .七 ar 
-rw-r--r-- slynux/slynux 























0 2010-08-14 17:52 filea 
-rw-r--r-- slynux/slynux 0 2010-08-14 17:52 fileb 
-rw-r--r-- slynux/slynux 0 2010-08-14 17:52 filec 
-rw-r--r-- slynux/slynux 0 2010-08-14 17:53 filea 


如 你 所 见 ， 一 个 新 的 血 ea 被 加 入 到 了 归档 文件 中 。 当 从 中 提取 文件 时 ，tar 会 挑选 最 新 的 fiea。 
6. 比较 归档 文件 与 文件 系统 中 的 内 容 
选项 -d 可 以 将 归档 中 的 文件 与 文件 系统 中 的 文件 作 比 较 。 这 个 功能 能 够 用 来 确定 是 否 需要 创 
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建新 的 归档 文件 。 


$ tar -df archive. 七 ar 
afile: Mod time differs 
afile: Size differs 


7. 从 归档 中 删除 文件 


我 们 可 以 用 - -aelete 选 项 从 归档 中 删除 文件 : 


$ tar -f archive.tar --delete 
或 者 
$ tar --delete --file archive. 


来 看 男 外 一 个 例子 : 


$ tar -tf archive.tar 

filea 

fileb 

filec 

$ tar --delete --file archive. 
$ tar -tf archive.tar 

fileb 

filec 


8. 压缩 tar 归 档 文 件 


tar 命 令 默 认 只 归档 文件 ， 并 不 对 


filel file2 .. 


tar [FILE LIST] 


tar filea 





其 进行 压缩 。 不 过 tar 支 持 用 于 压缩 的 相关 选项 。 故 缩 能 








够 显著 减少 文件 的 体积 。 归 档 文件 通常 被 压缩 成 下 列 格式 之 一 。 


口 bzip2 格 式 : file.tar.bz2。 








口 gzip 格 式 : file.tar.gz 或 file.tgz。 


口 Lempel-Ziv-Markov 格 式 : file.tar.1zma。 


不 同 的 tar 选 项 可 以 用 来 指定 不 同 的 压缩 格式 : 


口 -j 指 定 bunzip2 格 式 ; 
口 -z 指 定 gzip 格 式 ; 
口 --1zma 指 定 lzma 格 式 。 











不 明确 指定 上 面 那些 特定 的 选项 也 可 以 使 用 压缩 功能 。tar 能 够 基于 输出 或 输入 文件 的 扩 
展 名 来 进行 压缩 。 为 了 让 tar 文 持 根 据 扩展 名 自动 选择 压缩 算法 ,使 用 -a 或 --auto-compress 


选项 : 











$ tar -acvf archive.tar.gz filea fileb filec 


filea 
fileb 
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filec 
$ tar -tf archive.tar.gz 
filea 
fileb 
filec 


9. 在 归档 过 程 中 排除 部 分 文件 
选项 --exclude [PATTERN] 可 以 将 匹配 通配符 模式 的 文件 排除 在 归档 过 程 之 外 。 
例如 ， 排 除 所 有 的 .txt 文 件 : 


$ tar -cf arch.tar * --exclude "*.txt" 























人 注意 ， 模 式 应 该 使 用 双 引 号 来 引用 ， 避 免 shell 对 其 进行 扩展 。 





也 可 以 将 需要 排除 的 文件 列表 放 入 文件 中 ， 同 时 配合 选项 -x: 
$ cat list 

filea 

fileb 


$ tar -cf arch.tar * -X list 


这 样 就 把 ea 和 fileb 排 除了 。 
10. 排除 版 本 控制 目录 


tar 文 件 的 用 处 之 一 是 用 来 分 发 源 代码 。 很 多 源 代码 都 是 使 用 版 本 控制 系统 进行 维护 的 ， 如 
subversion 、Git 、mercurial、CVS ( 参考 上 一 章 )。 版 本 控制 系统 中 的 代码 目录 通常 包含 一 些 特殊 
目录 ， 如 .svn 或 .git。 这 些 目 录 由 版 本 控制 系统 负责 管理 ， 对 于 开发 者 之 外 的 用 户 并 没有 什么 用 。 
因此 无 需 将 其 包含 在 分 发 给 用 户 的 tar 文 件 内 。 


tar 的 选项 --excluge-vcs 可 以 在 归档 时 排除 版 本 控制 相关 的 文件 和 目录 。 例 如 : 

$ tar --exclude-vcs -czVVE source code.tar.gz eye_ of _ gnome_svn 

11. 打印 总 字 节 数 

选项 -totals 可 以 打印 出 归档 的 总 字 节 数 。 注 意 , 这 是 实际 数据 的 字 节 数 。 如 果 使 用 了 压缩 
选项 ， 文 件 大 小 会 小 于 总 的 归档 字 节 数 : 


$ tar -cf arc.tar * --exclude "*.txt" --totals 
Total bytes written: 20480 (20KiB, 12MiB/s) 
























































7.2.5 参考 


7.4 节 会 讲解 gzip 命 令 。 
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7.3 使 用 cpio 归档 


cpio 类 似 于 tar。 它 可 以 归档 多 个 文件 和 目录 ， 同 时 保留 所 有 的 文件 属性 ， 如 权限 、 文 件 所 
有 权 等 。cpio 格 式 被 用 于 RPM 软件 包 (Fedora 使 用 这 种 格式 )、Linux 内 核 的 initramfs 文 件 (包含 
了 内 核 镜 像 ) 等 。 这 则 攻略 将 给 出 几 种 cpio 的 用 法 。 








7.3.1 实战 演练 
cpio 通 过 stain 获 取 输 入 文件 名 并 将 归档 文件 写 人 stdaout 。 我们 必须 将 staout 重 定向 到 文 
件 中 来 保存 cpio 的 输出 。 
(D 创建 测试 文件 : 
$ touch filel file2 file3 
(2) 归档 测试 文件 : 
$ ls file* | cpio -ov > archive.cpio 
(3) 列 出 cpio 归 档 文件 中 的 内 容 : 
$ cpio -it < archive.cpio 
(4) 从 cpio 归 档 文件 中 提取 文件 : 


$ cpio -id < archive.cpio 





7.3.2 ”工作 原理 
对 于 归档 命令 cpio: 


口 -o 指 定 了 输出 ; 
口 -v 用 来 打印 归档 文件 列表 。 
在 cpio 命 令 中 ， 我们 可 以 使 用 文件 的 绝对 路 径 进行 归档 。/usr/somedir 就 是 
一 个 绝对 路 径 ， 因 为 它 是 以 根 目 录 ( / ) 作为 路 径 的 起 始 。 
省 相对 路 径 不 以 /开头 ， 而 是 以 当前 目录 作为 起 始点 。 例 如 ，testfile 表 示 有 一 





个 目录 test， 而 fle 位 于 test 目 录 中 。 
当 进 行 提取 时 ，cpio 会 将 归档 内 容 提 取 到 绝对 路 径 中 。 但 是 tar 会 移 去 绝对 
路 径 开 头 的 /， 将 其 转换 为 相对 路 径 。 
对 于 列 出 给 定 cpio 归 档 文件 中 所 有 内 容 的 命令 : 


口 -i 用 于 指定 输入 ; 
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口 -t 用 于 列 出 归档 文件 中 的 内 容 。 


在 提取 命令 中 ，-o 表 示 提 取 ，cpio 会 直接 覆盖 文件 ， 不 作 任 何 提 示 ; -qd 在 需要 的 时 候 创建 
新 的 目录 。 











7.4 ”使 用 gzip 压缩 数据 


gzip 是 GNU/Linux 平 台 下 常用 的 压缩 格式 。gzip、gunzip 和 zcat 都 可 以 处 理 这 种 格式 。 但 
这 些 工 具 只 能 压缩 /解压 缩 单个 文件 或 数据 流 ， 无 法 直接 归档 目录 和 多 个 文件 。 好 在 gzip 可 以 同 
tar 和 cpio 配 合 使 用 。 














7.4.1 实战 演练 
gzip 和 gunzip 可 以 分 别 用 于 压缩 与 解压 缩 。 
(1) 使 用 gzip 压 缩 文件 : 
$ gzip filename 


$ 1s 
filename .gz 


(2) 解压 缩 gzip 文 件 : 








$ gunzip filename.gz 
$ 1s 
filename 


(3) 列 出 压缩 文件 的 属性 信息 : 
$ gzip -1 test .txt .gz 


compressed uncompressed ratio uncompressed name 
35 6 -33.3% test.txt 


(4) gz ip 命 令 可 以 从 stain 中 读 入 文件 并 将 压缩 文件 写 出 到 stdout。 
从 stdin 读 入 并 将 压缩 后 的 数据 写 出 到 stdout: 














$ cat file | gzip -c > file.gz 


选项 -c 用 来 将 输出 指定 到 stgout。 该 选项 也 可 以 与 cpio 配 合 使 用 : 





$ ls * | cpio -o | gzip -c > cpiooutput.gz 
$ zcat cpiooutput.gz | cpio -it 


(5) 我 们 可 以 指定 gzip 的 压缩 级 别 。--fast 或 --best 选 项 分 别提 供 最 低 或 最 高 的 压缩 率 。 
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7.4.2 补充 内 容 
gzip 命 令 通 常 与 其 他 命令 结合 使 用 ， 另 外 还 有 一 些 高 级 选项 可 以 用 来 指定 压缩 率 。 
1. 压缩 归档 文件 
后 级 .gz 表示 的 是 经 过 gzip 压 缩 过 的 tar 归 档 文件 。 有 两 种 方法 可 以 创建 此 类 文件 。 
口 第 一 种 方法 
$ tar -czvvf archive.tar.gz [FILES] 
或 者 
$ tar -cavvf archive.tar.gz [FILES] 
选项 -z 指 明 用 gzip 进 行 压缩 ， 选 项 -a 指明 根据 文件 扩展 名 推断 压缩 格式 。 
口 第 二 种 方法 
首先 ， 创 建 一 个 tar 归 档 文件 : 
$ tar -cvvf archive.tar [FILES] 


压缩 tar 归 档 文件 ; 


$ gzip archive.tar 
如 果 有 大 量 文件 (上 百 个 ) 需要 归档 及 压缩 , 我 们 可 以 采用 第 二 种 方法 并 稍 作 变 动 。 将 多 个 
文件 作为 命令 行 参数 传递 给 tar 的 问题 在 于 后 者 能 够 接受 的 参数 有 限 。 要 解决 这 个 问题 ,我们 可 
以 在 循环 中 使 用 追加 选项 ( -r ) 来 逐个 添加 文件 : 
FILE LIST="filel file2. file3 file4 fileSs™ 
下 人 关注” Tn SHELLEDLIESTS 
do 
tar ~rvf arehive.tar Sf 


done 
gzip archive.tar 


下 面 的 命令 可 以 提取 经 由 gzip 压 缩 的 归档 文件 中 的 内 容 : 


























$ tar -xavvf archive.tar.gz -C extract directory 
其 中 ， 选 项 -a 用 于 自动 检测 压缩 格式 。 
直接 读 取 gzip 格 式 文件 


zcat 命 令 无 需 经 过 解压 缩 操作 就 可 以 将 .gz 文件 的 内 容 输 出 到 staout。.gz 文 件 不 会 发 生 任 
何 变 化 。 








2. zcat 
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$ 1s 
teSt .GZ 


$ zcat test.gz 
A test file 
# 文件 est 中 包含 了 一 行文 本 "RA test file" 


$ 1s 
test .gz 


3. 压缩 率 
我 们 可 以 指定 压缩 率 ， 它 共有 9 级 ， 其 中 : 


口 1 级 的 压缩 率 最 低 ， 但 是 压缩 速度 最 快 ; 
D 9 级 的 压缩 率 最 高 ， 但 是 压缩 速度 最 慢 。 


你 可 以 按照 下 面 的 方法 指定 压缩 比 : 




















$ gzip -5 test .img 


gzip 默 认 使 用 第 6 级 ， 倾 向 于 在 牺牲 一 些 压 缩 速 度 的 情况 下 获得 比较 好 的 压缩 率 。 














4. 使 用 bzip2 


bzip2 在 功能 和 语法 上 与 gzip 类 似 。 不同 之 处 在 于 bzip2 的 压缩 效率 比 gzip 更 高 , 但 花费 的 
时 间 比 gzip 更 长 。 


用 bzip2 进 行 压缩 : 
$ bzip2 filename 
解压 缩 bzip2 格 式 的 文件 : 


$ bunzip2 filename.bz2 


生成 tar.bz2 文 件 并 从 中 提取 内 容 的 方法 同 之 前 介绍 的 tar.gz 类 似 : 








$ tar -xjvf archive.tar.bz2 


其 中 ，-j 表 明 该 归档 文件 是 以 bzip2 格 式 压缩 的 。 




















5. 使 用 lzma 
1zma 的 压缩 率 要 优 于 gzip 和 bzip2。 
使 用 1zma 进 行 压缩 : 











$ lzma filename 


7.5 使 用 zip 归档 及 压缩 。 225 





解压 缩 1zma 文 件 : 

$ unlzma filename.1zma 

可 以 使 用 --1zma 选 项 压缩 生成 的 tar 归 档 文件 : 

$ tar -cvvf --lzma archive.tar.lzma [FILES] 
或 者 

$ tar -cavvf archive.tar.lzma [FILES] 


将 1zma 压 缩 的 car 归 档 文 件 中 的 内 容 提取 到 指定 的 目录 中 : 


$ tar -xvvf --lzma archive.tar.lzma -C extract directory 
其 中 ，-x 用 于 提取 内 容 ，--1zma 指 定 使 用 1zma 解 压缩 归档 文件 。 
我 们 也 可 以 用 : 





$ tar -xavvf archive.tar.lzma -C extract directory 


7.4.3 ”参考 














7.2 节 讲解 了 tar 命 令 。 





7.5 使 用 zip 归档 及 压缩 


ZIP 作 为 一 种 流行 的 压缩 格式 , 在 Linux、Mac 和 Windows 平 台中 都 可 以 看 到 它 的 身影 ,在 Linux 
下 ， 它 的 应 用 不 如 gzip 或 pzip2 那 么 广泛 ,但 是 向 其 他 平台 分 发 数据 的 时 候 ， 这 种 格式 很 有 用 。 

















7.5.1 实战 演练 
(1) 创建 zip 格 式 的 压缩 归档 文件 ( zip archive ): 
$ Zip archive name.zip filel file2 file3... 
例如 : 
$ zip file.zip file 
该 命令 会 生成 fle.zip。 
(2) 选项 -f 可 以 对 目录 进行 递归 式 归档 : 


$ zip -r archive.zip folderl1 folder2 
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(3) unzip 命 令 可 以 从 ZIP 文 件 中 提取 内 容 : 
$ unzip file.zip 


在 完成 提取 操作 之 后 ，unzip 并 不 会 删除 fle.zip〈 这 一 点 与 unlzma 和 gunzip 不 同 )。 
(4) 选项 -u 可 以 更 新 压缩 归档 文件 中 的 内 容 : 














$ zip file.zip -u newfile 
(5) 选项 -da 从 压缩 归档 文件 中 删除 一 个 或 多 个 文件 : 
$ zip -d arc.zip file.txt 


(6) 选项 -1 可 以 列 出 压缩 归档 文件 中 的 内 容 : 





$ unzip -1 archive.zip 


7.5.2 ”工作 原理 


尽管 同 大 多 数 我 们 已 经 讲 过 的 归档 、 压 缩 工 具 类 似 ， 但 zip 在 完成 归档 之 后 并 不 会 删除 源 文 
件 ， 这 一 点 与 1zma、gzip、bzip2 不 同 。 尽 管 与 tar 相 像 ， 但 zip 可 以 进行 归档 和 压缩 操作 ， 而 
单 赁 ar 是 无 法 进行 压缩 的 。 














7.6 更 快 的 归档 工具 pbzip2 


如 今 大 多 数 计算 机 都 配备 了 至 少 两 个 处 理 器 核心 , 这 基本 上 相当 于 拥有 了 两 块 物理 CPU。 但 
是 仅仅 是 一 块 多 核 CPU 并 不 代表 程序 可 以 运行 得 更 快 , 重要 的 是 程序 自身 能 够 利用 多 个 处 理 顺 核 


Av 


心 来 提高 运行 速度 。 


我 们 目前 已 经 看 到 的 多 数 压缩 命令 只 能 利用 单个 处 理 髓 核心 。pbzip2、plzip、pigz 和 
1rzip 命 令 都 采用 了 多 线程 ， 能 够 借助 多 核 来 降低 压缩 文件 所 需 的 时 间 。 


大 多 数 发 行 版 中 都 没有 安装 这 些 工 具 ， 可 以 使 用 apt-get 或 yum 自 行 安装 。 





















































7.6.1 预备 知识 
多 数 发 布 版 中 都 没有 预 装 ppzip2 ， 你 得 使 用 软件 包 管理 器 自行 安装 : 
sudo apt-get install pbzip2 

7.6.2 ”实战 演练 
(1) 压缩 单个 文件 : 
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pbzip2 myfile.tar 
pbzip2 会 自动 检测 系统 中 处 理 器 核心 的 数量 ， 然 后 将 myfile.tar 压 缩 成 myfile.tar.bz2 。 


(2) 要 压缩 并 归档 多 个 文件 或 目录 ， 可 以 使 用 rar 配合 pbzip2 来 实现 : 








tar cf sav.tar.bz2 --use-compress-prog=pbzip2 dir 

或 者 

tar -c directory to compress/ | pbzip2 -c > myfile.tar.bz2 
(3) 从 pbzip2 格 式 的 文件 中 进行 提取 。 

选项 -d 可 以 解压 缩 : 

pbzip2 -d myfile.tar.bz2 

如 果 是 tar.bz2 文 件 ， 我 们 可 以 利用 管道 完成 解压 缩 和 提取 : 


pbzip2 -dc myfile.tar.bz2 | tar x 


7.6.3 工作 原理 


pbzip2 在 内 部 使 用 的 压缩 算法 和 bzip2 一 样 ,但 是 它 会 利用 pthreads (一 个 线程 库 ) 来 同 
时 压缩 多 个 数据 块 。 线 程 化 对 于 用 户 而 言 都 是 透明 的 ， 结 果 就 是 获得 更 快 的 压缩 速度 。 


同 gzip 或 pzip2 一 样 ，pbzip2 并 不 会 创建 归档 文件 ， 它 只 能 对 单个 文件 进行 操作 。 要 想 压 
缩 多 个 文件 或 目录 ， 还 得 结合 tar 或 cpio 来 使 用 。 
































7.6.4 ”补充 内 容 
pbzip2 还 有 另外 一 些 有 用 的 选项 。 
1. 手动 指定 处 理 器 数量 


pbzip2 的 -p 选 项 可 以 手动 指定 处 理 需 核心 的 数量 。 如 果 无 法 自动 检测 处 理 融 核心 数量 或 是 
希望 能 够 释放 一 些 处 理 核心 供 其 他 任务 使 用 ，-p 选 项 就 能 派 上 用 场 了 : 


pbzip2 -p4 myfile.tar 
上 面 的 命令 告诉 ppzip2 使 用 4 个 处 理 顺 核心 。 
2. 指定 压缩 比 
从 选项 -1 到 -9 可 以 指定 最 快 到 最 好 的 压缩 效果 , 其 中 -1 的 压缩 速度 最 快 ， -9 的 压缩 率 最 高 。 
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7.7 创建 压缩 文件 系统 


squashfs 程 序 能 够 创建 出 一 种 具有 超 高 压缩 率 的 只 读 型 文件 系统 。 它 能 够 将 2GB~3GB 的 数 
据 压缩 成 一 个 700MB 的 文件 。Linux LiveCD (或 是 LiveUSB ) 就 是 使 用 sauashfs 创 建 的 。 这 类 
CD 利用 只 读 型 的 压缩 文件 系统 将 根 文件 系统 保存 在 一 个 压缩 文件 中 。 可 以 使 用 环 回 方式 将 其 挂 
载 并 装 和 完整 的 Linux 环 境 。 如 果 需 要 某 些 文件 ， 可 以 将 它们 解压 ， 然 后 载 人 内 存 中 使 用 。 
































如 果 需 要 压缩 归档 文件 并 能 够 随机 访问 其 中 的 内 容 ,那么 sauashfs 就 能 够 大 显 身 手 了 。 解 
压 体 积 较 大 的 压缩 归档 文件 可 得 花 上 一 阵 工夫 。 但 如 果 将 其 以 环 回 形 式 挂 载 , 那 速 度 会 变 得 飞快 。 
因为 上 只 有 出 现 访问 请 求 时 ， 对 应 的 那 部 分 压缩 文件 才 会 被 解压 缩 。 








7.7.1 预备 知识 

所 有 的 现代 Linux 发 行 版 都 支持 挂 载 squashfs 文 件 系统 。 但 是 创建 squashfs 文 件 的 话 ， 则 
需要 使 用 包 管 理 需 安装 sauashfs-tools: 

$ sudo apt-get :install squashfs-tools 
或 者 


$ yum install squashfs-tools 











7.7.2 ”实战 演练 
(1) 使 用 mksquashfs 命 令 添加 源 目 录 和 文件 ， 创 建 一 个 squashfs 文 件 : 
$ mksquashfs SOURCES compressedfs.squashfs 
SOURCES 可 以 是 通配符 、 文 件 或 目录 路 径 。 
例如 : 


$ sudo mksquashfs /etc test.squashfs 

Parallel mksquashfs: Using 2 processors 

Creating 4.0 filesystem on test.squashfs, block size 131072. 
[=======================================] 1867/1867 100% 



































卉 


0H 还 有 更 多 的 细节 信息 会 出 现在 终端 上 。 由 于 版 面 的 限制 , 这 里 就 不 再 列 出 这 
些 信息 了 。 





(2) 利用 环 回 形式 挂 载 squashfs 文 件 : 


# mkdir /mnt/squash 
# mount -o loop compressedfs.squashfs /mnt/squash 


你 可 以 通过 /mnt /squashfs 访 问 文 件 内 容 。 
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7.7.3 ”补充 内 容 
可 以 指定 其 他 选项 来 定制 squashfs 文 件 系统 。 
在 创建 squashfs 文 件 时 排除 部 分 文件 
选项 -e 可 以 排除 部 分 文件 和 目录 : 


$ sudo mksquashfs /etc test.squashfs -e /etc/passwd /etc/shadow 


其 中 ， 选 项 -e 用 于 将 文件 /etc/passwd 和 /etc/shadow 排 除 在 外 。 
也 可 以 将 需要 排除 的 文件 名 列表 写 人 文件， 然后 用 选项 -ef 指定 该 文件 : 





$ cat excludelist 
/etc/passwd 
/etc/shadow 


$ sudo mksquashfs /etc test.squashfs -ef excludelist 


如 果 和 希望 在 排除 文件 列表 中 使 用 通配符 ， 需 要 使 用 -wildcara 选 项 。 




















7.8 ”使 用 rsync 备份 系统 快照 


数据 备份 需要 定期 完成 。 除 了 备份 本 地 文件 ， 可 能 还 涉及 远程 数据 。rsync 可 以 在 最 小 化 数 
据 传 输 量 同时 ,同步 不 同位 置 上 的 文件 和 目录 。 相 较 于 cp 命令 ， rsync 的 优势 在 于 比较 文件 修改 
日 期 ， 仅 复制 较 新 的 文件 。 另 外 ， 它 还 支持 远程 数据 传输 以 及 压缩 和 加 密 。 
































7.8.1 实战 演练 
(1) 将 源 目录 复制 到 目的 路 径 : 
$ rsync -av source path destination path 
例如 : 


$ rsync -av /home/slynux/data 
slynux@192.168.0.6:/home/backups/data 


其 中 : 

口 -a 表示 进行 归档 操作 ，; 

口 -v (verbose ) 表示 在 stdqout 上 打印 出 细节 信息 或 进度 。 

上 面 的 命令 会 以 递归 的 方式 将 所 有 的 文件 从 源 路 径 复制 到 目的 路 径 。 源 路 径 和 目的 路 径 
既 可 以 是 远程 路 径 ， 也 可 以 是 本 地 路 径 。 
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(2) 将 数据 备份 到 远程 服务 器 或 主机 : 

$ rsync -av source dir usernameGhost :PATH 

要 想 保持 两 端的 数据 同步 ,需要 定期 运行 同样 的 rsync 命 人 
(3) 下 面 的 命令 可 以 将 远程 主机 上 的 数据 恢复 到 本 地 : 











沪 
tt 
小 
这 





剖 更 改过 的 文件 。 





$ rsync -av USsernameGhost :PATH destination 


rsync 命 令 用 SSH 连 接 远 程 主机 , 因此 必须 使 用 user@host 这 种 形式 设 定 远程 
主机 的 地 址 , 其 中 user 代 表 用 户 名 , host 代 表 远 程 主机 的 IP 地 址 或 主机 名 。 而 PATH 
a 指定 了 远程 主机 中 待 复制 数据 所 在 的 路 径 。 
确保 远程 主机 上 已 安装 并 运行 着 OpenSSH 服 务 器 ,如 果 连 接 远 程 主机 时 不 希 
望 输入 密码 ， 可 以 参考 8.10 节 。 


(4) 通过 网 络 进行 传输 时 ， 压 缩 数 据 能 够 明显 改善 传输 效率 。 我 们 可 以 用 rsync 的 选项 -z 指 
定 在 传输 时 压缩 数据 。 例 如 : 
$ rsync -avz source destination 

(5) 将 一 个 目录 中 的 内 容 同 步 到 男 一 个 目录 : 
$ rsync -av /home/test/ /home/backups 


这 条 命令 将 源 目录 ( /home/test ) 中 的 内 容 (不 包括 目录 本 身 ) 复制 到 现 有 的 backups 目 
录 中 。 


(6) 将 包括 目录 本 身 在 内 的 内 容 复 制 到 男 一 个 目录 中 : 
$ rsync -av /home/test /home/backups 
这 条 命令 将 包括 源 目 录 本 身 ( /home/test ) 在 内 的 内 容 复制 到 新 的 backups 目 录 中 。 


就 路 径 格 式 而 言 ， 如 果 我 们 在 源 路 径 末 尾 使 用 /， 那 么 rsync 会 将 
sourch_path 中 结尾 目录 内 所 有 内 容 复制 到 目的 地 。 
0 如 果 没 有 在 源 路 径 末 尾 使 用 /，,， rsync 会 将 sourch_path 中 的 结尾 目录 本 身 
也 复制 过 去 。 
选项 -* 强 制 rsync 以 递归 方式 复制 目录 中 所 有 的 内 容 。 





























7.8.2 ”工作 原理 


rsync 所 使 用 的 源 路 径 和 目的 路 径 既 可 以 是 本 地 路 径 ， 也 可 以 是 远程 路 径 ， 其 至 两 者 丝 可 
以 是 远程 路 径 。 在 远程 连接 时 ,通常 使 用 SSH 提 供 安 全 的 双 路 通信 。 本 地 路 径 和 远程 路 径 形 式 
如 下 : 
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口 /home/user/data( 本 地 路 径 ) 
口 user@192.168.0.6:/home/backups/data (远程 路 径 ) 

















/home/slynux/data 指 定 的 是 执行 rsync 命 令 的 那 台 主机 上 的 绝对 路 径 。 user@192. 
168.0.6:/home/backups/data 指 定 的 是 以 用 户 user 身 份 登录 ，IP 地 址 为 192 .168.0.6 的 主 
机 上 的 /home/backups/data。 





7.8.3 ”补充 内 容 
rsync 命 令 还 提供 了 一 些 其 他 功能 选项 。 
1. 在 使 用 rsync 进 行 归档 时 排除 部 分 文件 
选项 --exclude 和 --exclude-from 可 以 指定 不 需要 传输 的 文件 : 





--exclude PATTERN 

可 以 使 用 通配符 指定 需要 排除 的 文件 。 例 如 : 

$ rsync -avz /home/code/app /mnt/disk/backup/code --exclude "*.o" 
该 命令 不 备份 .o 文 件 。 

或 者 我 们 也 可 以 通过 一 个 列表 文件 指定 需要 排除 的 文件 。 














这 需要 使 用 --exclude-from FILEPATH。 
2. 在 更 新 rsync 备 份 时 ， 删 除 不 存在 的 文件 


默认 情况 下 ,rsync 并 不 会 在 日 的 端 删除 那些 在 源 端 已 不 存在 的 文件 , 如 果 要 删除 这 类 文件 ， 
可 以 使 用 rsync 的 --aqelete 选 项 : 


$ rsync -avz SOURCE DESTINATION --delete 
3. 定期 备份 

你 可 以 创建 一 个 cron 任 务 来 定期 进行 备份 。 
下 面 是 一 个 简单 的 例子 : 

$ crontab -ev 


添加 上 这 么 一 行 : 




















0 */10 * * * rsync -avz /home/code UserQG@IP_ADDRESS : /home/backups 





上 面 的 crontab 项 将 rsync 调 度 为 每 10 小 时 运行 一 次 。 
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*/10 处 于 crontab 语 法 中 的 钟点 位 ( hour position )，/10 表 明 每 10 小 时 执行 一 次 备份 。 如 果 
*/V10 出 现在 分 钟 位 (minutes position )， 那 就 是 每 10 分 钟 执 行 一 次 备份 。 


请 参阅 10.8 节 了 解 如 何 配置 crontab。 

















7.9 差异 化 归档 


到 目前 为 止 , 我 们 所 描述 的 备份 方法 都 是 完整 地 复制 当时 的 文件 系统 。 如 果 在 出 现 问题 的 时 
修 你 立刻 就 能 发 现 , 然后 使 用 最 近 的 快照 来 恢复 , 那么 这 种 方法 是 有 用 的 。 但 如 果 你 没有 及 时 发 
现 问题 ,直到 又 制作 了 新 的 快照 ,先前 正确 的 数据 已 被 目前 存在 错误 的 数据 覆盖 ,这 种 方法 就 派 
不 上 用 场 了 。 


文件 系统 归档 提供 了 一 份 文件 变更 的 历史 记录 。 如 果 你 需要 返回 某 个 受 损 文件 的 早期 版 本 ， 
就 用 得 上 它 了 。 

rsyncy tar 和 和 cpio 可 以 用 来 制作 文件 系统 的 每 日 快照 。 但 这 样 做 成 本 太 高 。 每 天 创建 一 份 
独立 的 快照 ， 一 周 下 来 所 需要 的 存储 空间 是 所 备份 文件 系统 的 7 倍 。 


差异 化 备份 只 需要 保存 自 上 次 完整 备份 之 后 发 生变 化 的 文件 。Unix 中 的 倾 印 /恢复 ( dump/restore ) 
工具 支持 这 种 形式 的 归档 备份 。 但 可 惜 的 是 , 这 些 工 具 是 设计 用 于 磁带 设备 的 ， 所 以 用 起 来 不 太 
容易 Lo) 


find 命 令 配 合 tar 或 cpio 可 以 实现 相同 的 功能 。 












































7.9.1 实战 演练 
使 用 Fa 创建 第 一 份 完整 备份 : 
tar -cvz /backup/full.tgz /home/user 


使 用 finq 命 令 的 -newer 选 项 确定 自 上 次 完整 备份 之 后 ， 都 有 哪些 文件 作出 了 改动 ， 然 后 创 
建 一 份 新 的 归档 : 








tar -czf day- ` date +%]、 .tgz ‘find /home/user -newer 
/backup/EulL1L.tgz-` 


7.9.2 ”工作 原理 


fingd 命 令 会 生成 自 上 次 创建 完整 备份 ( /backup/full.tgz ) 以 来 有 改动 的 所 有 文件 的 
列表 。 


date 命 令 会 基于 侍 略 历 (Julian date ) 生成 一 个 文件 名 。 因 此 ， 当 年 的 第 一 个 差异 化 备份 就 
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是 day-1.tgz，1 月 2 日 的 备份 就 是 day-2.tgz， 以 此 类 推 。 


因为 从 第 一 份 完整 备份 往 后 , 越 来 越 多 的 文件 会 发 生 改 动 , 所 以 每 天 的 差异 化 归档 也 会 越 来 
越 大 。 当 归档 大 小 超出 预期 的 时 候 ， 需 要 再 制作 一 份 新 的 完整 备份 。 








7.10 使 用 fsarchiver 创建 全 盘 镜 像 


fsarchiver 可 以 将 整个 磁盘 分 区 中 的 内 容 保存 成 一 个 压缩 归档 文件 。 和 tar 或 cpio 不 同 ， 
fsarchiver 能 够 保留 文件 的 扩展 属性 ， 可 用 于 将 当前 文件 系统 恢复 到 磁盘 中 。 它 能 够 识别 并 保 
留 Windows 和 Linux 系 统 的 文件 属性 ， 因 此 适合 于 迁移 Samba 挂 载 的 分 区 。 











7.10.1 预备 知识 

fsarchivez 默 认 并 没有 安装 在 大 多 数 发 布 版 中 。 你 得 用 软件 包 管 理 器 自行 安装 。 更 多 的 信 
息 可 以 参考 http://www.fsarchiver.org/Installation。 
7.10.2 ”实战 演练 

(1) 创建 文件 系统 /分 区 备份 。 





使 用 fsarchiver 的 savefs 选 项 : 

fsarchiver savefs backup.fsa /dev/sdal 

backup.fsa 是 最 终 的 备份 文件 ，/dev/sdal 是 要 备份 的 分 区 。 
(2) 同时 备份 多 个 分 区 。 


还 是 使 用 savefs 选 项 ， 将 多 个 分 区 作为 fsarchiver 最 后 的 参数 : 























fsarchiver savefs backup.fsa /dev/sdal /dev/sda2 
(3) 从 备份 归档 中 恢复 分 区 。 


使 用 fsarchiver 的 restfs 选 项 : 








fsarchiver restfs backup.fsa id=0,dest=/dev/sdal 


id=0 表 明 我 们 希望 从 备份 归档 中 提取 第 一 个 分 区 的 内 容 ， 将 其 恢复 到 由 dest=/ 
dev/sdal 所 指定 的 分 区 。 


从 备份 归档 中 恢复 多 个 分 区 。 
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像 之 前 一 样 ， 使 用 restfs 选 项 : 





fsarchiver restfs backup.fsa id=0,dest=/dev/sdal 
id=1,dest=/dev/sdbl 


我 们 在 命令 中 使 用 了 两 组 id,dest 告 诉 fsarchiver 从 备份 中 将 前 两 个 分 区 的 内 容 恢复 到 指 
定 的 分 区 。 








7.10.3 工作 原理 


和 tar 一 样 ，fsarchiver 遍 历 整个 文件 系统 来 生成 一 个 文件 列表 ， 然 后 将 所 有 的 文件 保存 
在 压缩 过 的 归档 文件 中 。 但 不 像 tar 那 样 只 保存 文件 信息 ，fsarchiver 还 会 备份 文件 系统 。 这 
意味 着 它 可 以 很 容易 地 将 备份 恢复 到 一 个 全 新 的 分 区 ， 无 须 再 重新 创建 文件 系统 。 


如 果 你 是 第 一 次 看 到 /dewsdal 这 样 的 分 区 记 法 , 那 有 必要 解释 一 下 。 在 Linux 中 ，/dev 下 存放 
的 都 是 称 为 设备 文件 的 一 类 特殊 文件 , 它们 分 别 指向 某 个 物理 设备 。sdal 中 的 sd 指 的 是 SATA disk 
(SATA 磁 盘 )， 接 下 来 的 字母 可 以 是 gs、b 、c 等 ， 最 后 跟 上 分 区 编号 ， 如 图 7-1 所 示 。 

































































/dev/ sdal 














设备 文件 系统 | | SATA 磁 盘 











磁盘 编号 | 


Linux 中 磁盘 设备 文件 名 的 各 个 组 成 部 分 





分 区 编号 























图 7-1 
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本 章 内 容 


口 网 络 设置 

DQ ping! 

口 跟踪 人 P 路 由 

口 列 出 网 络 中 所 有 的 活动 主机 

口 使 用 SSH 在 远程 主机 上 执行 命令 
口 在 远程 主机 上 执行 图 形 化 命令 
口 通过 网 络 传输 文件 

口 连接 无 线 网 络 

口 实现 SSH 的 无 密码 自动 登录 





8.1 简介 





口 使 用 SSH 实 现 端口 转发 

口 在 本 地 挂 载 点 上 挂 载 远程 驱动 需 
口 分 析 网 络 流量 与 端口 

口 测量 网 络 带 宽 

口 创建 套 接 字 

口 搭建 网 桥 

口 Internet 连 接 共享 

口 使 用 iptables 架 设 简 易 防 火 墙 
口 创建 虚拟 私有 网 络 


























联网 就 是 将 计算 机 互联 ， 使 其 之 间 得 以 交换 信息 的 过 程 。 应 用 最 广泛 的 网 络 栈 就 是 TCP/IP， 





其 中 每 个 节点 都 分 配 了 唯 

















的 卫 地 址 作为 标识 。 如 果 你 对 此 已 经 熟悉 ， 可 以 跳 过 这 一 他。 


TCP/IP 网 络 的 运作 过 程 就 是 在 节点 之 间 传 递 分 组 ( packet )"”。 每 一 个 分 组 中 都 包含 了 目标 的 


IP 地 址 以 及 处 理 分 组 中 数据 的 应 用 程序 端口 号 。 








当 节 点 接收 到 分 组 时 ， 它 会 查看 自己 是 否 就 是 该 分 组 的 目的 地 。 如 果 是 ， 节 点 会 忆 

















了 检查 问 口 











号 并 调用 相应 的 应 用 程序 来 处 理 分 组 数据 。 如 果 不 是 ,节点 则 根据 已 知 的 网 络 配置 , 将 分 组 发 送 


到 离 最 终 目 的 地 更 近 的 下 一 个 节点 。 



































(QD TCP/IP 协 议 栈 中 的 各 层 对 于 其 数据 处 理 单元 都 有 各 所 





























层 )。 在 泛 指 的 时 候 ， 通常 使 用 packet (分 组 ) 这 个 词 。 





的 术语 ， 比 如 bit ( 比特 ， 对 应 于 物理 层 )、frame ( 帧 ， 对 应 
于 数据 链 路 层 )、datagram ( 数据 报 ， 对 应 于 人 P 层 )、segment ( 段 ， 对 应 于 TCP 层 )、message ( 消息 ， 对 应 于 应 用 
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shell 脚 本 可 用 于 配置 网 络 节点 、 测 试 主机 是 否 可 用 、 自 动 执行 远程 主机 命令 等 。 本 章 着 重 





绍 网 络 相 关 的 工具 和 命令 ， 以 及 如 何 有 效 利 用 它们 解决 各 种 问题 。 


8.2 网 络 设置 








在 深入 学 习 与 联网 相关 的 攻略 之 前 , 有 必要 简单 了 解 一 下 网 络 设置 、 相 关 术 语 以 及 用 于 分 配 





IP 地 址 、 添 加 路 由 等 的 命令 。 这 则 攻略 会 回顾 GNU/Linux 中 的 一 些 网 络 命令 。 

















8.2.1 预备 知识 


网 络 接口 用 于 将 主机 以 有 线 或 无 线 的 形式 连接 到 网 络 。Linux 使 用 eth0 .eth1 或 enp0s25( 指 
代 以 太 网 接口 ) 这 种 方式 来 命名 网 络 接口 。 还 有 一 些 其 他 的 接口 ， 如 usb0、wlan0 以 及 tun0， 





分 别 对 应 USB 网 络 接口 、 无 线 LAN 和 隧道 。 


在 这 则 攻略 中 会 涉及 如 下 命令 : ifconfig、route、nslookup 和 host。 











ifconfig 命 令 用 于 配置 及 显示 网 络 接 口子 网 掩 码 等 细节 信息 。 它 通常 位 于 /sbin/ifconfig 中 。 








8.2.2 ”实战 演练 
(1) 列 出 当前 的 网 络 接口 配置 : 





$ ifconfig 
lo Link encap:Local Loopback 
inet addr:127.0.0.1 Mask:255.0.0.0 
inet6addr: ::1/128 Scope:Host 

UP LOOPBACK RUNNING MTU:16436 Metric:1 

RX packets:6078 errors:0 dropped:0 overruns:0 frame:0 

TX packets:6078 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:0 

RX bytes:634520 (634.5 KB) TX bytes:634520 (634.5 KB) 
wlan0 Link encap:EthernetHWaddr 00:1c:bf:87:25:d2 
inet addr:192.168.0.82 Bcast:192.168.3.255 Mask:255.255.252.0 
inet6addr: fe80::21c:bfff:fe87:25d2/64 Scope:Link 

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 

RX packets:420917 errors:0 dropped:0 overruns:0 frame:0 

TX packets:86820 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:1000 

RX bytes:98027420 (98.0 MB) TX bytes:22602672 (22.6 MB) 





ifconfig 输 出 的 最 左边 一 列 是 网 络 接口 名 ， 右 边 的 若干 列 显示 对 应 的 网 络 接口 的 详细 


言 自 


互 忆 \o 


(2) 设置 网 络 接口 的 卫 地 址 : 


# ifconfig wlan0 192.168.0.80 
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你 需要 以 root 身 份 运行 上 述 命令 .192 .168.0.80 是 为 无 线 设备 wlan0 所 设置 的 IP 地 址 。 
使 用 以 下 命令 设置 此 IP 地 址 的 子 网 掩 码 .: 
# ifconfig wlan0 192.168.0.80 netmask 255.255.252.0 


(3) 很 多 网 络 使 用 动态 主机 配置 协议 (DHCP ) 自动 为 连接 到 网 络 上 的 计算 机 分 配 IP 地 址 。 
dhclient 命 令 可 以 用 于 完成 这 项 任务 。 如 果 通 过 DHCP 分 配 IP 地 址 ， 请 使 用 dhclient， 
不 要 手动 设置 地 址 ,以免 和 网 络 上 的 其 他 主机 产生 冲突 。 很 多 Linux 发 行 版 在 感知 到 有 网 
络 物理 连接 的 时 候 会 自动 调用 dhclient。 


# dhclient eth0 











8.2.3 补充 内 容 
ifconfig 命 令 可 以 与 其 他 shell 工 具 结 合 使 用 ， 生 成 特定 的 报告 。 








1. 打印 网 络 接口 列表 
这 个 单行 命令 可 以 打印 系统 可 用 的 网 络 接口 列表 : 


$ ifconfig | cut -c-10 | tr -QQ ' ' | tr -s '\n' 
lo 
wlan0 


ifconfig 输 出 的 每 行 前 10 个 字符 被 保留 用 于 网 络 接口 名 称 。 因 此 我 们 用 cut 命 令 提取 每 一 行 的 
前 10 个 字符 。tr -a ，' 删 除 每 一 行 的 所 有 空格 。 用 tr -s 'n' 奈 缩 多 个 换行 符 以 生成 接口 名 
称 列表 。 


2. 显示 IP 地 址 


ifconfig 会 显示 系统 中 所 有 活动 网 络 接口 的 详细 信息 。 不 过 ， 我 们 可 以 限制 它 只 显示 某 个 
特定 接口 的 信息 : 

$ ifconfig iface name 
例如 : 


$ ifconfig wlan0 

wlan0 Link encap:EthernetHWaddr 00:1c:bf:87:25:d2 

inet addr:192.168.0.82 Bcast:192.168.3.255 Mask:255.255.252.0 
inet6 addr: fe80::3a2c:4aff:6e6e:17a9/64 Scope:Link 

UP BROADCAST RUNNINT MULTICAST MTU:1500 Metric:1 

RX Packets... 


要 想 控 制 某 台 网 络 设备 ， 我 们 需要 IP 地 址 、 广 播 地 址 、 硬 件 地 址 和 子 网 掩 码 : 


口 HWWaddr 00:1c:bf:87:25:d2 是 硬件 地 址 (MAC 地址 ); 



































238 第 8 章 无 网 不 利 




















D inet aaqqr:192.168.0.82 是 卫 地 址 ; 
口 Bcast:192.168.3.255 是 广播 地 址 ; 
口 Mask:255.255.252.0 是 子 网 掩 码 。 


要 从 ifconfig 输 出 中 提取 人 P 地 址 ， 可 以 使 用 : 


$ ifconfig wlan0 | egrep -o "inetaddr:[^ ]*" | grep -o "[0-9.]*" 
192.168.0.82 























egrep -o "inetaddr:[^]*" 会 打印 出 ijnet adgdr:192.168.0.82。 其 中 的 模式 了 inetadgdr: 
作为 起 始 ， 以 非 空格 字符 序列 (由 [^ ]* 指定 ) 作为 结束 。 接 下 来 命令 grep -o "[0-9.]*" 
只 输出 数字 与 点 号 〈(. ) 的 组 合 ， 也 就 是 IP 地 址 。 


3. 硬件 地 址 (MAC 地 址 ) 欺骗 


如 果 采 用 了 基于 硬件 地 址 的 认证 或 过 滤 ， 那么 我 们 可 以 使 用 硬件 地 址 欺骗 ( hardware address 
spoofing )。 便 件 地 址 在 ifconfig 输 出 中 是 以 Hwaddr 00:1c:bf:87:25:92 形 式 出 现 的 。 

















ifconfig 的 子 命令 可 以 定义 设备 类 别 以 及 MAC 地 址 : 
# ifconfig eth0 hw ether 00:1c:bf:87:25:d5 


在 上 面 的 命令 中 ，00:1c:bf:87:25:qd5 是 分 配 的 新 MAC 地 址 。 如 果 我 们 需要 通过 部 署 了 MAC 
认证 的 服务 提供 商 才 能 够 访问 Internet， 这 招 就 能 发 挥 作用 了 。 




















0 注意 ， 所 分 配 的 MAC 地 址 在 机 器 重启 之 后 就 失效 了 。 


4. 名 字 服 务 器 与 DNS 《域名 服务 ) 


Internet 底 层 的 寻 址 方案 是 采用 点 分 十 进 制 形式 的 IP 地 址 ( 例如 83.166.169.231 )。 相 较 于 数字 ， 
人 类 更 喜欢 使 用 文字 ， 因 此 Intermet 上 的 资源 是 通过 被 称 为 URL 或 域名 的 字符 串 来 标识 的 。 例 如 ， 
www.packpub.com 就 是 一 个 域名 ， 它 对 应 着 一 个 JP 地址 。 在 浏览 右 中 输入 IP 地 址 或 域名 都 可 以 访 
问 到 该 站 点 。 


将 IP 地 址 映射 为 符号 名 称 的 这 种 技术 称 为 域名 服务 ( DNS )。 当 我 们 输入 www.google.com， 
计算 机 使 用 DNS 服 务 右 将 域名 解析 为 对 应 的 人 P 地 址 。 在 本 地 网 络 中 ,我们 可 以 设置 本 地 DNS 为 本 
地 主机 命名 。 


名 字 服 务 需 是 在 文件 /etc/resolv.conf 中 定义 的 : 


$ cat /etc/resolv.conf 
# Local nameserver 
nameserver 192.168.1.1 
# External nameserver 
nameserver 8.8.8.8 
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我 们 可 以 编辑 该 文件 来 手动 添加 名 字 服 务 器 或 是 使 用 下 面 的 命令 
# sudo echo nameserver IP_ ADDRESS >> /etc/resolv.conf 


获取 域名 所 对 应 耻 地 址 的 最 简单 方法 就 是 用 ping 命 令 访问 指定 的 域名 。 命 令 的 回应 信息 中 就 
包含 了 IP 地 址 : 





























$ ping google.com 
PING google.com (64.233.181.106) 56(84) bytes of data. 


64.233.181.106 是 google.com 对 应 的 IP 地 址 。 


一 个 域名 可 以 对 应 多 个 IP 地 址 。 对 于 这 种 情况 , bing 只 会 显示 其 中 的 一 个 地 址 。 要 想 获取 分 
配给 域名 的 所 有 JP 地址 ， 就 得 使 用 DNS 查 找 工具 了 。 


5. DNS 查找 


有 多 种 基于 命令 行 的 DNS 查找 工具 都 可 以 实现 名 字 与 JP 地址 的 解析 。host 和 nslookup 就 是 
其 中 两 个 常用 工具 。 


host 命 令 会 列 出 某 个 域名 所 有 的 IP 地 址 : 




















$ host google.com 

google.com has address 64.233.181.105 
google.com has address 64.233.181.99 
google.com has address 64.233.181.147 
google.com has address 64.233.181.106 
google.com has address 64.233.181.103 
google.com has address 64.233.181.104 


nslookup 命 令 可 以 完成 名 字 与 IP 地 址 之 间 的 相互 映射 : 





$ nslookup google.com 
Server: 8.8.8.8 
Address: 8.8.8.8#53 


Non-authoritative answer: 
Name: google.com 
Address: 64.233.181.105 
Name: google.com 
Address: 64.233.181.99 
Name: google.com 
Address: 64.233.181.147 
Name: google.com 
Address: 64.233.181.106 
Name: google.com 
Address: 64.233.181.103 
Name: google.com 
Address: 64.233.181.104 


Server: 8.8.8.8 
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上 面 最 后 一 行 对 应 着 用 于 DNS 解析 的 默认 名 字 服 务 器 。 








也 可 以 通过 向 文件 /etc/hosts 中 加 入 条 目 来 实现 名 字 解 析 。 


/etc/hosts 文 件 格 式 如 下 : 

IP_ADDRESS namel name2 ... 

用 下 面 的 方法 更 新 该 文件 : 

# echo IP_ ADDRESS symbolic name >> /etc/hosts 
例如 : 


# echo 192.168.0.9 backupserver >> /etc/hosts 


添加 了 条 目 之 后 ， 任 何 时 候 解 析 backupserver， 都 会 返回 192.168.0.9。 
如 果 backupserver 有 多 个 名 字 ， 将 其 全 部 写 入 同一 行 中 : 


# echo 192.168.0.9 backupserver backupserver.example.com >> /etc/hosts 


6. 显示 路 由 表 信 息 











多 个 网 络 相互 连接 是 很 常见 的 场景 。 例 如 , 工作 场所 或 学 校 的 不 同 部 门 可 能 处 于 不 同 的 网 络 
中 。 如果 一 个 网 络 中 的 设备 想 同 男 一 个 网 络 中 的 设备 通信 , 就 需要 借助 某 个 同时 连接 了 两 个 网 络 
的 设备 发 送 分 组 。 这 个 特殊 的 设备 叫 作 网 关 ， 它 的 作用 是 在 不 同 的 网 络 中 转发 分 组 。 


操作 系统 维护 着 一 个 叫 作 路 由 表 的 表格 ， 它 包含 了 分 组 如 何 转发 的 信息 。route 命 令 可 以 显 


示 路 由 表 : 


$ route 
Kernel IP routing table 




















Destination Gateway GenmaskFlags Metric Ref UseIface 

192.168.0.0 入 ey ey rg 2 0 Owlan0 

link-local 井 A552554040 U 1000 0 Owlan0 

default p4.local 0.0.0.0 UG 0 0 Owlan0 
也 可 以 使 用 

$ route -n 

Kernel IP routing table 

Destination Gateway Genmask Flags Metric Ref UseIface 

192.168.0.0 0.0.0.0 255.255.252.0 U 2 0 0 wlan0 

169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 wlan0 

0.0.0.0 192.168.0.4 0.0.0.0 UG 0 0 0 wlan0 








-n 指 定 以 数字 形式 显示 地 址 。 默 认 情 况 下 ，route 命 令 会 








将 他 地 址 映射 为 名 字 。 





如 果 系 统 不 知道 如 何 分 组 到 目的 地 的 路 由 , 它 会 将 其 发 送 到 默认 网 关 。 默认 网 关 可 以 连接 到 
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Internet 或 部 门 内 部 的 路 由 器 。 

route _ add 命令 可 以 添加 默认 网 关 : 

# route add default gw IP_ADDRESS INTERFACE NAME 
例如 : 


# route add default gw 192.168.0.1 wlan0 


8.2.4 参考 


口 1.3 节 讲解 了 PATH 变量 。 
口 4.3 节 讲解 了 grep 命 令 。 





8.3 Pingl 





ping 是 一 个 基础 的 网 络 命令 ， 所 有 主流 操作 系统 都 支持 该 命令 。ping 可 用 于 检验 网 络 上 主 
机 之 间 的 连通 性 ， 找 出 活动 主机 。 





8.3.1 实战 演练 

bing 命 令 使 用 mternet 控 制 消息 协议 ( Internet Control Message Protocol，ICMP ) 中 的 scho 分 
组 检验 网 络 上 两 台 主机 之 间 的 连通 性 。 当 向 某 台 主机 发 送 echo 分 组 时 ， 如 果 分 组 能 够 送 达 且 该 
主机 处 于 活动 状态 ， 那 么 它 就 会 返回 一 条 回应 ( reply )。 如 果 没 有 通 往 目 标 主 机 的 路 由 或 是 目标 
主机 不 知道 如 何 将 回应 返回 给 请 求 方 ，ping 命 令 则 执行 失败 。 

检查 某 台 主机 是 否 可 达 : 

$ ping ADDRESS 


ADDRESS 可 以 是 主机 和 名、 域名 或 者 PP 地 址 。 
默认 情况 下 , ping 会 连续 发 送 分 组 , 回应 信息 将 被 打印 在 终端 上 。 可 以 用 Ctrl+C 来 停止 bing 


o 


来 看 下 面 的 例子 。 
口 如 果 主 机 可 达 ， 那 么 会 输出 如 下 信息 : 


$ ping 192.168.0.1 

PING 192.168.0.1 (192.168.0.1) 56(84) bytes of data. 

64 bytes from 192.168.0.1: icmp_ seq=1 ttl=64 time=1.44 ms 
i 
































命令 
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--- 192.168.0.1 ping statistics --- 
1 packets transmitted, 1 received, 0% packet loss, time 0ms 
rtt min/avg/max/mdev = 1.440/1.440/1.440/0.000 ms 


$ ping google.com 

PING google.com (209.85.153.104) 56(84) bytes of data. 

64 bytes from bom01s01-in-f104.1e1l00.net (209.85.153.104): 
icmp_seq=1 ttl1l=53 time=123 ms 

0 

--- google.com ping statistics --- 

1 packets transmitted, 1 received, 0% packet loss, time 0ms 
rtt min/avg/max/mdev = 123.388/123.388/123.388/0.000 ms 


口 如 果 主 机 不 可 达 ， 则 输出 如 下 信息 : 


$ ping 192.168.0.99 

PING 192.168.0.99 (192.168.0.99) 56(84) bytes of data. 
From 192.168.0.82 icmp_ seq=1 Destination Host Unreachable 
From 192.168.0.82 icmp_ seq=2 Destination Host Unreachable 

















在 主机 不 可 达 大 时 ， ping 返 回 错 背 误 信息 Destination Host Unreachable。 


网 络 管理 员 通 常会 对 网 络 设备 ( 如 路 由 器 ) 进行 配置 ， 使 其 不 响应 ping 命 
(外 令 。 这 样 做 是 为 了 降低 安全 风险 ， 因 为 ping 可 以 被 攻击 者 (使 用 变 力 ) 用 来 获 
取 主 机 的 JP 地址 。 


8.3.2 ”补充 内 容 


除了 检查 网 络 主机 之 间 的 连通 性 ，ping 命 令 还 可 以 获取 其 他 信息 。 往 返 时 间 和 分 组 丢失 率 
报告 可 用 于 确定 网 络 是 否 正常 运行 。 

1. 往返 时 间 

ping 命 令 可 以 显示 出 每 个 分 组 的 往返 时 间 (Round Trip Time，RTT )。RTT 的 单位 是 毫秒。 在 


内 部 网 络 中 ，RTT 基 本 上 还 不 到 lms。 在 Internet 上 ，RTT 通 常 在 10ms 到 400ms 之 间 ， 有 可 能 还 会 
超过 1000ms: 


























--- google.com ping statistics --- 
5 packets transmitted, 5 received, 0% packet loss, time 4000ms 
rtt min/avg/max/mdev = 118.012/206.630/347.186/77.713 ms 


其 中 ,最 小 的 RTT 是 118.012ms,， 平均 RTT 是 206.630ms， 最 大 的 RTT 是 347.186ms。ping 输 出 中 的 
mdqev (77.713ms ) 代表 的 是 平均 偏差 ( mean deviation )。 


2. 序列 号 


ping 发 出 的 每 个 分 组 都 有 一 个 序列 号 ， 从 1 开始 ， 直 到 ping 命 令 结束 。 如 果 网 络 接近 饱和 ， 
分 组 可 能 会 因为 冲突 、 重 试 或 被 丢弃 的 原因 ， 以 乱 序 的 形式 返回 : 
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$> ping example.com 

64 bytes from example.com (1.2.3.4): icmp seq=1 ttl=37 time=127.2 ms 
64 bytes from example.com (1.2.3.4): icmp seq=3 ttl1l=37 time=150.2 ms 
64 bytes from example.com (1.2.3.4): icmp seq=2 ttl=30 time=1500.3 ms 


在 这 个 例子 中 ， 第 二 个 分 组 被 丢弃 了 ， 超 时 之 后 又 进行 了 重 发 ， 因 此 在 返回 的 时 候 出 现 了 乱 序 ， 
RTT 时 间 也 更 长 。 


3. 生存 时 间 


ping 命 令 发 送 的 每 个 分 组 都 有 一 个 可 以 在 被 丢弃 前 完成 的 跳 数 ， 这 个 值 是 预先 定义 好 的 。 
分 组 途径 的 每 个 路 由 器 会 将 该 值 碱 1。 它 表明 了 发 出 ping 命 令 的 主机 和 目的 主机 之 间 相 隔 了 多 少 
个 路 由 器 。 依 据 你 所 使 用 的 系统 或 ping 命 令 版 本 的 不 同 ， 生 存 时 间 (Time To Live，TTL ) 的 初 
始 值 也 不 尽 相 同 。 你 可 以 通过 向 环 回 接口 发 起 ping 命 令 来 确定 TTL 的 初始 值 : 

$> ping 127.0.0.1 

64 bytes from 127.0.0.1: icmp seq=1 ttl=64 time=0.049 ms 


$> ping www.google.com 
64 bytes from 173.194.68.99: icmp_ seq=1 ttl=45 time=49.4 ms 


在 本 例 中 , 我 们 向 环 回 地 址 发 起 ping 命 令 ， 以 此 决定 TTL 的 值 。 因 为 是 环 回 地 址 ， 所 以 跳 数 不 会 
发 生变 化 ( 仍 是 64 ) ”。 然 后 向 远程 站 点 发 起 ping 命 令 , 使 用 TTL 的 初始 值 减 去 回应 中 的 TTL 值 ， 
就 得 到 了 两 个 位 置 之 间 的 跳 数 。 在 这 里 是 19 跳 ( 64-45 )。 

两 个 位 置 之 间 的 TTL 值 通常 是 固定 的 ， 但 如 果 路 径 发 生 了 变化 ，TTL 的 值 也 会 随 之 变化 。 

4. 限制 发 送 的 分 组 数量 

bing 命 令 会 不 停 地 发 送 scho 分 组 并 等 符 回 复 ， 直 到 按 下 Ctrl+C 为 止 。 我 们 可 以 用 选项 -c 限 
制 所 发 送 的 echo 分 组 的 数量 。 用 法 如 下 : 

-C_ COUNT 
例如 : 


$ ping 192.168.0.1 -c 2 

PING 192.168.0.1 (192.168.0.1) 56(84) bytes of data. 

64 bytes from 192.168.0.1: icmp_ seq=1 ttl=64 time=4.02 ms 
64 bytes from 192.168.0.1: icmp seq=2 ttl=64 time=1.03 ms 












































--- 192.168.0.1 ping statistics --- 
2 packets transmitted, 2 received, 0% packet loss, time 1001ms 
rtt min/avg/max/mdev = 1.039/2.533/4.028/1.495 ms 


在 上 面 的 例子 中 ,ping 命 令 发 送 了 两 个 echo 分 组 后 就 停止 发 送 。 如 果 我 们 需要 通过 脚本 ping 一 
组 IP 地 址 来 检查 主机 的 状态 ， 那么 这 个 技巧 就 能 派 上 用 场 了 。 








GO TIL 的 值 就 是 跳 数 。 
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5. ping 命 令 的 返回 状态 




















ping 命 令 如 果 执行 顺利 ， 会 返回 退出 状态 0; 否则 ， 返 回 非 0。 执 行 顺 利 意 味 着 目标 主机 可 





册 


， 执 行 失败 意味 着 目标 主机 不 可 达 。 
返回 状态 可 以 通过 下 面 的 方法 获得 : 


$ ping domain -c2 
if [ $? -eq0 ]; 
then 

echo Successful ; 
else 

echo Failure 
£1i 


8.4 ”跟踪 IP 路 由 


当 应 用 程序 通过 Internet 请 求 服务 时 , 服务 顺 可 能 位 于 远 端 , 两 者 之 间 通 过 多 个 网 关 或 路 由 带 
相连 。traceroute 命 令 可 以 显示 分 组 途径 的 所 有 网 关 的 地 址 。 这 些 信息 可 以 帮助 我 们 搞 明白 分 
组 到 达 目 的 地 需要 经 过 多 少 跳 。 中 途 的 网 关 或 路 由 顺 的 数量 给 出 了 网 络 上 两 个 节点 之 间 的 有 效 距 
离 ， 这 未 必 和 物 理 距离 有 关 。 传 输 时 间 会 随 着 每 一 跳 增 加 。 对 于 路 由 器 而 言 ， 接 收 、 解 析 以 及 发 





送 分 组 都 是 需要 花 时 间 的 。 


实战 演练 

traceroute 命 令 的 格式 如 下 : 

traceroute destinationIP 
destinationIP 可 以 是 JP 地址 ， 也 可 以 是 域名 。 


$ traceroute google.com 


traceroute to google.com (74.125.77.104), 30 hops max, 60 byte packets 


1 gw-c6509.1xb.as5577 .net (195.26.4.1) 0.313 ms 0.371 ms 0.457 ms 

2 40g.lxb-fra.as5577.net (83.243.12.2) 4.684 ms 4.754 ms 4.823 ms 

3 de-cixl0.net.google.com (80.81.192.108) 5.312 ms 5.348 ms 5.327 ms 
4 209.85.255.170 (209.85.255.170) 5.816 ms 5.791 ms 209.85.255.172 

(209.85.255.172) 5.678 ms 

5 209.85.250.140 (209.85.250.140) 10.126 ms 9.867 ms 10.754 ms 

6 64.233.175.246 (64.233.175.246) 12.940 ms 72.14.233.114 (72.14.233 
13.736 ms 13.803 ms 

7 72.14.239.199 (72.14.239.199) 14.618 ms 209.85.255.166 (209.85.255 
12.755 ms 209.85.255.143 (209.85.255.143) 13.803 ms 

8 209.85.255.98 (209.85.255.98) 22.625 ms 209.85.255.110 (209.85.255 
14.122 ms 


9 ew-in-f104.1lel00.net (74.125.77.104) 13.061 ms 13.256 ms 13.484 ms 


.114) 


.166) 


.110) 
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如 今 的 Linux 发 布 版 中 还 包括 了 一 个 命令 mtr， 它 类 似 于 traceroute, 但 是 
能 够 显示 实时 刷新 的 数据 。 这 对 于 检查 网 络 线路 质量 等 问题 很 有 帮助 。 


8.5 列 出 网 络 中 所 有 的 活动 主机 
当 我 们 管理 大 型 网 络 时 , 可 能 需要 检查 网 络 上 的 其 他 主机 是 否 处 于 活动 状态 。 一 台 非 活动 主 


机 可 能 有 两 种 情况 : 要 么 是 没有 开机 ， 要 么 是 网 络 连接 有 问题 。 借 助 shell 脚 本 ， 我 们 可 以 轻易 找 
出 并 报告 网 络 上 的 哪 一 台 主 机 处 于 活动 状态 。 





























8.5.1 预备 知识 


在 这 则 攻略 中 , 我 们 演示 了 两 种 方法 。 分 别 使 用 ping 和 fping。 在 脚本 中 使 用 fping 更 容易 
， 而 且 比 ping 拥 有 更 多 的 特性 。fping 默 认 并 没有 包含 在 Linux 发 行 版 中 ， 需 要 用 软件 包 管 理 
圳 手动 安装 。 














缉 发 


8.5.2 ”实战 演练 
下 面 的 脚本 使 用 ping 命 令 找 出 网 络 上 所 有 的 活动 主机 : 


#!/bin/bash 
# 文件 名 : ping.sh 
# 根 据 你 所 在 网 络 的 实际 情况 修改 网 络 地 址 192.168.0 





for ip in 192.168.0.{1..255} ， 
do 
ping $ip -c 2 &> /dev/null ; 


if [ $? -eq 0 ]; 
then 
echo S$ip is alive 
£1i 
done 


输出 如 下 : 
$ ./ping.sh 


192.168.0.1 is alive 
192.168.0.90 is alive 


8.5.3 工作 原理 


在 这 个 脚本 中 ， 我 们 用 ping 命 令 找 出 网 络 上 的 活动 主机 。 这 里 用 了 一 个 fo 循环 对 表达 式 
192.168.0.{1..255} 所 生成 的 一 组 人 PP 地 址 进行 迭代 。 像 {start. .end} 这 种 记 法 会 得 到 包括 
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start 和 和 end 在 内 的 一 系列 值 。 在 本 例 中 ， 产 生 的 是 IP 地 址 192.168.0.1 至 192.168.0.255。 


ping $ip -c 2 &> /dev/null 会 对 相应 的 人 P 地 址 执行 ping 命 令 。 选 项 -c 2 将 发 送 的 分 组 
数量 限制 为 两 个 。&> /qdev/null 用 于 将 stderr 和 stqdout 重 定向 到 /dev/null， 使 得 终端 上 不 会 
出 现任 何 输出 信息 。 脚 本 使 用 $? 获取 退出 状态 。 如 果 顺 利 退出 ， 退 出 状态 为 0， 和 否则 为 非 0 值 。 
因此 能 够 ping 通 的 人 P 地 址 就 被 打印 出 来 。 


在 这 个 脚本 中 , 每 个 地 址 对 应 一 个 ping 命 令 , 依次 执行 。 这 就 使 得 如 果 出 现 某 个 IP 地 址 不 回 
应 的 话 ， 整 个 脚本 的 运行 速度 就 会 被 拖 慢 ， 因 为 在 发 出 下 一 次 ping 之 前 ， 必 须 等 上 一 次 的 ping 
超时 。 

















8.5.4 补充 内 容 

接 下 来 将 会 展示 对 ping 脚 本 所 作出 的 一 些 改 进 以 及 fping 的 用 法 。 

1. 并 行 ping 

上 一 节 的 脚本 是 依次 测试 每 个 地 址 的 。 每 次 测试 累积 下 来 的 延迟 时 间 可 不 短 。 我 们 可 以 利用 
并 行 方 式 来 提高 整体 执行 速度 。 要 使 bping 命 令 可 以 并 行 执 行 , 可 将 循环 体 放 入 ()&。() 中 的 命令 
会 在 子 shell 中 运行 ， 而 & 会 将 其 置 和 后台。 例如: 

#!/bin/bash 


# 文件 名 : fast_ping.sh 
# 用 途 : 根据 你 所 在 网 络 的 实际 情况 修改 网 络 地 址 192 .168.0。 





























FGE LB, dn L268 0 255 
do 
( 
ping $ip -c2 &> /dev/null ; 


i 1 
then 
echo Sip is alive 
£1i 
)& 
done 
wait 


在 for 循 环 体 中 执行 了 多 个 后 台 进 程 , 然后 结束 循环 并 终止 脚本 。wait 命 令 会 等 待 所 有 的 子 进程 
结束 后 再 终止 脚本 。 








脚本 输出 的 信息 按照 的 是 bing 命 令 的 回应 顺序 。 如 果 某 些 主机 或 网 段 的 速 
度 较 慢 ， 这 个 顺序 就 未 必 和 发 送 顺序 一 致 了 。 
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2. 使 用 fping 








第 二 种 方法 使 用 了 另 一 个 命令 fping。 它 可 以 为 多 个 了 地 址 生成 ICMP 分 组 ， 然 后 等 待 回应 。 
其 运行 速度 要 比 之 前 的 脚本 快 得 多 。 


fping 的 选项 如 下 : 











口 选项 -a 指定 显示 出 所 有 活动 主机 的 IP 地址 ; 
口 选项 -u 指 定 显示 出 所 有 不 可 达 的 主机 ; 
口 选项 -g 指 定 从 “IP 地 址 / 子 网 掩 码 ” 记 法 或 者 “IP 地 址 范围 ” 记 法 中 生成 一 组 IP 地 址 ; 











$ fping -a 192.160.1/24 -g 
或 者 
$ fping -a 192.160.1 192.168.0.255 -g 


口 2>/dev/null 用 于 将 由 于 主机 不 可 达 所 产生 的 错误 信息 输出 到 null 设 备 。 











也 可 以 采用 命令 行 参数 的 方式 手动 指定 一 组 IP 地 址 ,或 者 作为 列表 文件 从 stdain 中 接收 。 
例如 : 

$ fping -a 192.168.0.1 192.168.0.5 192.168.0.6 

# 将 IP 地 址 作为 参数 传递 


$ fping -a < ip.list 
# 从 文件 中 传递 一 组 IP 地 址 


8.5.5 ”参考 





口 1.6 节 讲解 了 数据 重 定向 。 
口 1.17 节 讲解 了 数字 比较 。 





8.6 ”使 用 SSH 在 远程 主机 上 执行 命令 


SSH 代 表 的 是 Secure Shell ( 安全 shell )。 它 使 用 加 密 隧 道 连接 两 台 计算 机 。SSH 能 够 让 你 访问 
远程 计算 机 上 的 shell， 从 而 在 其 上 执行 交互 命令 并 接收 结果 ， 或 是 启动 交互 会 话 。 























8.6.1 预备 知识 


GNU/Linux 发 布 版 中 默认 并 不 包含 SSH ， 需 要 使 用 软件 包 管 理 需 安装 openssh-server 和 
openssh-client。SSH 服 务 默认 运行 在 端口 22 之 上 。 
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8.6.2 ”实战 演练 
(1) 连接 运行 了 SSH 服 务 器 的 远程 主机 : 


$ ssh username@remote host 





其 中 : 


Dusername 是 远程 主机 上 的 用 户 ; 
口 remote_host 可 以 是 域名 或 IP 地 址 。 


例如 : 


$ ssh mec@192.168.0.1 

The authenticity of host '192.168.0.1 (192.168.0.1)' can't be 
established. 

RSA key fingerprint is 
2b:b4:90:79:49:0a:fl:b3:8a:db:9f:73:2d:75:d6:f9. 

Are you sure you want to continue connecting (yes/no)? yes 
Warning: Permanently added '192.168.0.1' (RSA) to the list of 
known hosts. 

Password: 























Last login: Fri Sep 3 05:15:21 2010 from 192.168.0.82 
mec@proxy-1:~$ 
SSH 会 询问 用 户 密码 ， 一 旦 认证 成 功 ， 就 会 连接 到 远程 主机 上 的 登录 shell。 
SSH 执 行 指 纹 核 对 ( fingerprint verification ) 来 确保 用 户 连接 到 正确 的 远程 主机 。 
这 是 为 了 避免 中 间 人 攻击 (man-in-the-middle attack )， 在 这 类 攻击 中 ， 攻 击 者 试图 
i 假扮 成 另 一 台 计 算 机 。 在 第 一 次 连接 到 服务 器 上 时 ，SSH 默 认 会 存储 指纹 信息 ， 
在 之 后 的 连接 过 程 中 核对 该 指纹 。 
SSH 服 务 器 默认 在 端口 22 上 运行 。 但 有 些 SSH 服 务 器 并 没有 使 用 这 个 端口 。 
针对 这 种 情况 ， 可 以 用 ssh 命 令 的 -p port_num 来 指定 端口 。 


(2) 连接 运行 在 端口 422 之 上 的 SSH 服 务 器 : 
$ ssh user@locahost -p 422 


在 shell 脚 本 中 使 用 ssh 时 ， 并 不 需要 交互 式 shell， 因 为 我 们 只 是 需要 在 远程 系统 中 执行 命 


令 并 处 理 命令 输出 。 
每 次 都 要 输入 密码 对 于 自动 化 脚本 来 说 显然 不 实际 , 因此 要 对 SSH 进 行 无 密 
码 登 录 配 置 。8.10 节 将 讲解 具体 的 配置 方法 。 





(3) 要 想 在 远程 主机 中 执行 命令 ， 在 本 地 shell 中 显示 命令 输出 ， 可 以 这 样 做 ; 


$ ssh user@host 'COMMANDS' 
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例如 : 


$ ssh mec@192.168.0.1 'whoami' 
mec 


可 以 输入 多 条 命令 ,命令 之 间 用 分 号 分 隔 : 
$ ssh user@host "command1 ; command2 ; command3" 
例如 : 


$ ssh mec@192.168.0.1 "echo user: $(whoami);echo OS: $(uname)" 
Password: 
user: mec 
OS: Linux 


在 这 个 例子 中 ， 在 远程 主机 上 执行 的 命令 是 : 








echo user: $(whoami); 
echo OS: $ (uname) 


我 们 也 可 以 在 命令 序列 中 用 子 shell 操 作 符 () 传递 更 为 复杂 的 子 shell。 


(4) 接 下 来 是 一 个 基于 SSH 的 shell 脚 本 ， 它 用 来 收集 一 组 远程 主机 的 运行 时 间 ( uptime )。 运 
行 时 间 是 系统 上 一 次 加 电 后 运行 的 时 间 ，uptime 命 令 可 以 返回 这 个 时 间 。 


假设 在 ITP_LIST 列 出 的 所 有 系统 中 都 有 一 个 用 户 test。 


#!/bin/bash 
# 文件 名 : uptime.sh 
# 用 途 : 系统 运 行 时 间 监 视 器 









































IP_LIST="192.168.0.1 192.168.0.5 192.168.0.9" 
USER="test" 


for IP in $IP_ LIST; 


do 

utime=$ (ssh ${USER}@S$S{IP} uptime | awk '{ print $3 }' ) 
echo $IP uptime: $$utime 

done 

输出 如 下 : 


$ ./uptime.sh 

192.168.0.1 uptime: 1:50, 
192.168.0.5 uptime: 2:15, 
192.168.0.9 uptime: 10:15, 


8.6.3 ”补充 内 容 
让 我 们 看 看 ssh 命 令 的 另 一 些 选 项 。 
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1. SSH 的 压缩 功能 


SSH 协 议 也 支持 对 数据 进行 压缩 传输 。 当 带宽 有 限时 ， 这 一 功能 很 方便 。 用 ssh 命 令 的 选项 
-C 启 用 这 一 功能 : 


$ ssh -C user@hostname COMMANDS 
2. 将 数据 重 定向 至 远程 shell 命 令 的 stain 
SSH 人 允许 你 使 用 本 地 系统 的 命令 输出 作为 远程 系统 的 输入 : 








$ echo 'text' | ssh user@remote host 'echo' 
text 


或 者 


# 重 定向 文件 中 的 数据 


$ ssh user@remote host 'echo' < file 


在 远程 主机 上 ,echo 打 印 出 从 stadin 接 收 到 的 数据 , 但 这 些 数据 却 是 从 本 地 主机 传递 到 远程 shell 
的 stdain 中 的 。 


这 项 功能 可 以 将 本 地 主机 上 的 tar 存 档 文 件 传 给 远程 主机 。 这 在 第 7 章 中 有 过 详 述 : 





$> tar -Czf - LOCALFOLDER | ssh 'tar -xzvf-' 


8.7 ”在 远程 主机 上 执行 图 形 化 命令 


如 果 你 打算 在 远程 主机 上 执行 采用 了 图 形 化 窗口 的 命令 , 就 会 磁 上 类 似 于 cannot open display 
之 类 的 错误 。 这 是 因为 ssh shell 和 党 试 连接 远程 主机 上 的 X 服 务 需 失败 造成 的 。 


8.7.1 实战 演练 


要 想 在 远程 主机 上 运行 图 像 化 应 用 你 需要 设置 变量 SDISPLAY 来 强制 应 用 程序 连接 到 本 地 主 
机 上 的 X 服 务 器 : 


ssh user@host "export DISPLAY=:0 ; commandl; command2""" 
这 将 启用 远程 主机 上 的 图 形 化 输出 。 
如 果 你 想 在 本 地 主机 上 显示 图 形 化 输出 ， 使 用 SSH 的 X11 转发 选项 ( forwarding option ): 

















ssh -xX user@host "command1; command2" 


这 样 一 来 ， 在 远程 主机 上 所 执行 命令 的 图 形 化 输出 就 会 显示 在 本 地 主机 上 。 
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8.7.2 参考 
8.10 节 讲解 了 如 何 实现 在 不 输入 密码 的 情况 下 ， 自 动 登录 执行 远程 命令 。 


8.8 通过 网 络 传输 文件 


计算 机 联网 的 主要 目的 之 一 就 是 资源 共享 。 文 件 是 常见 的 共享 资源 。 在 系统 之 间 传 递 文件 的 
方法 不 止 一 种 ,例如 U 盘 和 sneakernet", 或 是 网 络 存 储 (如 NFS 和 Samba )。 这 则 攻略 就 讨论 了 
如 何 用 常见 的 协议 FTP、SFTP、RSYNC 和 SCP 传 输 文件 。 
































8.8.1 预备 知识 


用 来 在 网 络 上 传输 文件 的 命令 多 数 都 已 默认 包含 在 了 Linux 中 。 通 过 FTP 传 输 文 件 可 以 使 用 传 
统 的 ftp 命 令 或 更 新 的 1ftp 命 令 ， 通 过 SSH 传 输 文件 可 以 使 用 scp 和 sftp。rsync 命 令 可 以 实现 
系统 间 的 文件 同步 。 





8.8.2 ”实战 演练 

文件 传输 协议 ( File Transfer Protocol，FTP ) 是 一 个 古老 的 协议 ， 在 很 多 公共 站 点 上 用 于 文 
件 共享 。FTP 服 务 需 通常 运行 在 端口 21 上 。 远 程 主机 上 必须 安装 并 运行 FTP 服 务 器 才能 使 用 FTP。 
我 们 可 以 使 用 传统 的 ftp 命 令 或 更 新 的 1ftp 命 令 访 问 FTP 服 务 器 。 两 者 都 支持 下 面 要 讲 到 的 命 
令 。 很 多 公共 网 站 都 是 用 FTP 共 享 文件 。 

要 连接 FTP 服 务 器 传输 文件 ， 可 以 使 用 : 


$ lftpusername@ftphost 


它 会 提示 你 输入 密码 ， 然 后 显示 一 个 像 下 面 这 样 的 登录 提示 符 : 
































lftp username@ftphost:~> 
你 可 以 在 提示 符 后 输入 各 种 命令 ， 如 下 所 示 。 


D cq directory: 更 改 远程 主机 目录 。 
口 1cd: 更 改 本 地 主机 目录 。 

D mkqir: 在 远程 主机 上 创建 目录 。 

DQ 1s: 列 出 远程 主机 当前 目录 下 的 文件 。 











QD sneakernet 是 一 个 非 正式 的 术语 ， 指 的 是 将 数据 通过 存储 设备 ( 磁带 、 软 盘 、U 盘 、 移 动 硬盘 等 ) 从 一 台 计 算 机 
带 到 另 一 台 计 算 机 来 实现 数据 传递 ， 而 不 是 通过 网 络 实现 。 参 见 https:/en.wikipedia.org/wiki/Sneakernet。 
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D get FILENAME: 将 文件 下 载 到 本 地 主机 的 当前 目录 中 。 








lftp username@ftphost:~> get filename 


口 put filename: 将 文件 从 当前 目录 上 传 到 远程 主机 。 





lftp username@ftphost:~> put filename 
口 cuit 命 令 可 以 退出 1ftp 会 话 。 


1ftp 提 示 符 支持 命令 自动 补 全 。 


8.8.3 ”补充 内 容 
让 我 们 看 看 其 他 可 用 于 网 络 文件 传输 的 技术 及 命令 。 
1. FTP 自 动 传输 
1ftp 和 ftp 为 用 户 启动 一 个 交互 式 会 话 。 下 面 的 脚本 可 以 用 来 实现 FTP 自 动 传输 : 


#!/bin/bash 





#FTP 传 输 自动 化 

HOST=example.com' 

USER= ' foo' 

PASSWD='password' 

lftp -~-u ${USER}:S$S{PASSWD} SHOST <<EOF 


binary 
cd /home/foo 
put testfile.jpg 


quit 
EOF 


上 面 的 脚本 包含 下 列 结构 : 


<<EOF 
DATA 
EOF 


这 种 结构 用 来 通过 stain 向 1ftp 命 令 发 送 数据 。1.6 节 中 已 经 讲 过 了 重 定向 到 stain 的 各 种 方法 。 


选项 -u 可 以 使 用 我 们 定义 的 USER 和 PASSwD 登 人 远程 站 点 。pbinary 命 令 将 文件 模式 设置 为 
二 进 制 。 
































2. SFTP (Secure FTP， 安 全 FTP) 


SFTP 是 一 个 运行 在 SSH 连 接 之 上 并 模拟 了 FTP 接 口 的 文件 传输 系统 。 它 不 需要 远 端 运行 FTP 
服务 器 来 进行 文件 传输 ， 但 必须 要 有 SSH 服 务 器 。sftp 是 一 个 交互 式 命令 ， 提 供 了 命令 提示 符 。 
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sftp 文 持 与 ftp 和 1ftp 相 同 的 命令 。 
启动 s ftp 会 话 : 
$ sftp user@domainname 


和 1ftp 类 似 ， 输 入 auit 命 令 可 以 退出 sftp 会 话 。 


SSH 服 务 器 有 时 候 并 不 在 默认 的 端口 22 上 运行 。 如 果 它 在 其 他 端口 运行 ， 我们 可 以 在 sftp 
中 用 选项 -oport=PORTNO 来 指定 端口 号 。 例 如 : 








$ sftp -oPort=422 user@slynux.org 


-oPort 应 该 作为 sftp 命 令 的 第 一 个 参数 。 





3. rsync 命 邻 


rsync 命 令 广 泛 用 于 网 络 文件 复制 以 及 备份 。7.8 节 详细 讲解 了 rsync 的 用 法 。 





4. SCP (Secure Copy Program， 安 全 复制 程序 ) 


SCP 是 一 个 安全 的 文件 复制 命令 ， 和 旧式 的 、 不 安全 的 远程 复制 命令 rcp 类 似 。 文 件 均 通 过 
SSH 加 密 通 道 进行 传输 。 











$ scp filename user@remotehost:/home/path 


该 命令 会 提示 你 输入 密码 ,可 以 用 SSH 自 动 登 录 功 能 来 免 于 此 步 驴 。8.10 节 会 讲解 SSH 自 动 登 录 。 
一 旦 实现 了 SSH 自 动 登录 ，scp 就 可 以 直接 执行 了 。 


命令 中 的 remotenost 可 以 是 IP 地 址 或 域名 。scp 命 令 的 格式 如 下 : 


$ scp SOURCE DESTINATION 




















SOURCE 或 DESTINATION 可 以 采用 形 如 username@host :/path 的 格式 : 
$ scp user@remotehost:/home/path/filename filename 


上 面 的 命令 将 远程 主机 中 的 文件 复制 到 当前 目录 并 使 用 给 定 的 文件 名 。 
如 果 SSH 没 有 运行 在 端口 2， 使 用 和 sftp 相 同 的 语法 ， 利 用 选项 -oPort 指 定 其 他 端口 。 
5. 用 scP 进 行 递归 复制 
scp 的 选项 -r 可 以 在 两 台 网 络 主机 间 以 递归 形式 复制 目录 : 





$ scp -r /home/usernameuser@remotehost:/home/backups 


# 将 目录 /home/username 递 归 复 制 到 远程 主机 中 
scp 的 选项 -p 能 够 在 复制 文件 的 同时 保留 文件 的 权限 和 模式 。 
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8.8.4 ”参考 
1.6 节 讲解 了 如 何 用 EOF 实 现 标准 输入 。 





8.9 连接 无 线 网 络 


配置 以 太 网 很 简单 ， 因 为 它 使 用 物理 线 缆 , 无 需 认 证 之 类 的 特殊 要 求 。 但 是 无 线 LAN 需 要 使 
用 ESSID ( Extended Service Set Identification ， 扩 展 服务 集 标识 )， 可 能 还 得 输入 口令 。 

















8.9.1 预备 知识 


要 连接 有 线 网 络 ， 我 们 只 需要 用 ifconfig 分 配 卫 地 址 和 子 网 掩 码 就 行 了 。 对 于 无 线 网 络 ， 
则 需要 iwconfig 和 iwlist 工 具 来 配置 更 多 的 参数 。 








8.9.2 ”实战 演练 
下 面 的 脚本 会 连接 到 启用 了 WEP ( Wried Equivalent Privacy， 有 线 等 效 加 密 ) 的 无 线 LAN: 
#!1/bin/bash 


# 文 件 名 : wlan connect.sh 
# 用 途 : 连接 无 线 LAN 





# 根 据 你 的 设置 修改 下 面 的 参数 

间 间 间 间 间 间 间 ## PARAMETERS # 间 间 井 间 间 并 间 间 间 # 
IFACE=wlan0 

IP_ ADDR=192.168.1.5 

SUBNET MASK=255.255.255.0 
GW=192.168.1.1 
HW_ADDR='00:1c:bf:87:25:d2' 

# 如 果 不 想 使 用 物理 地 址 欺骗 ， 把 上 面 这 一 行 注释 掉 


ESSID="homenet" 
WEP_KEY=8b140b20e7 

FREQ=2 .462G 

并 提 提 提 打 失 提 失 提 村 提 打 持 打 村 提 打 持 打 提 提 打 音 提 捍 打 村 提 打 持 打 并 霸 


KEY_ PART="" 


if [[ -n S$WEP_ KEY ]]; 
then 

KEY_ PART="key S$WEP_KEY" 
£1i 


if [ $UID -ne 0 1]; 
then 
echo "Run as root" 
exit 1; 
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全 
# 设 置 新 的 配置 之 前 先 关 闭 接口 


/sbin/ifconfig $IFACE down 


if [[ -n $HW_ADDR ]]; 
then 
/sbin/ifconfig $IFACE hw ether S$HW_ ADDR 
echo Spoofed MAC ADDRESS to $HW_ ADDR 
于 了 
/sbin/iwconfig $IFACE essid S$ESSID S$KEY_ PART freq $FREQ 
/sbin/ifconfig $IFACE $IP_ ADDR netmask $SUBNET MASK 


route add default gw S$GW $IFACE 


echo Successfully configured $IFACE 


8.9.3 工作 原理 


ifconfig、iwconfig 和 route 命 令 必须 以 root 用 户 身 份 运行 ， 因 此 在 脚本 一 开始 要 检查 是 
否 为 root 用 户 。 


无 线 LAN 需 要 essid、key ( 密 钥 ) 以 及 frequency (频率 ) 等 参数 。essid 是 我 们 想 要 连 
接 的 无 线 网 络 的 名 称 。 一 些 网 络 需 要 用 WEP 密 钥 进行 认证 ，WEP 密 钥 通 常 是 一 个 5 位 或 10 位 十 六 
进 制 数 口令 。 频率 则 是 分 配给 特定 网 络 的 ，iwcoenfig 命 令 用 它 关 联 无 线 网 卡 与 对 应 的 无 线 网 络 。 5 


iwlist 工 具 能 够 扫描 并 列 出 可 用 的 无 线 网 络 : 






























































# iwlist scan 


wlan0 Scan completed : 
Cell 01 - Address: 00:12:17:7B:1C:65 
Channel:11 


Frequency:2.462 GHz (Channel 11) 
Quality=33/70 Signal level=-77 dBm 
Encryption key:on 

ESSID: "model-2" 


参数 Frequency 可 以 从 扫描 结果 中 的 Frequency :2.462 GHz (Channel 11) 一 行 中 提取 。 
为 简单 起 见 ， 这 个 例子 中 使 用 了 WEP， 但 要 注意 的 是 ，WEP 并 不 安全 。 如 


人 OP 果 你 负责 管理 无 线 网 络 ， 最 好 使 用 Wi-Fi Protected Access2 (Wi-Fi 保护 访问 2， 
WPA2 )。 
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8.9.4 参考 
1.17 节 讲解 了 字符 串 比 较 。 


8.10 实现 SSH 的 无 密码 自动 登录 


SSH 广 泛 用 于 脚本 自动 化 ， 它 使 得 我 们 可 以 在 远程 主机 上 执行 命令 并 读 取 输出 。SSH 通 常 使 
用 用 户 名 和 密码 进行 认证 ,在 其 执行 SSH 命 令 时 会 提示 输入 认证 信息 。 但 是 在 自动 化 脚本 中 要 求 
用 户 手动 输入 密码 就 显然 不 实际 了 ， 因 此 需要 实现 登录 过 程 自 动 化 。SSH 有 一 个 特性 允许 自动 登 
录 会 话 。 这 则 攻略 描述 了 如 何 创 建 SSH 密 钥 实 现 自动 登录 。 






































8.10.1 预备 知识 


SSH 采 用 了 非 对 称 加 密 技术 ， 认 证 密 钥 包 含 两 部 分 : 一 个 公 钥 和 一 个 私 钥 。ssh-keygen 命 
令 可 以 创建 这 一 对 认证 密 钥 。 要 想 实现 自动 化 认证 ， 公 钥 必 须 放置 在 服务 器 中 (将 其 加 入 文件 
~/.ssh/authorized_keys )， 与 公 钥 对 应 的 私 钥 应 该 放 人 用 户 所 在 客户 机 的 ~/.ssh 目 录 中 。 另 一 些 与 
SSH 相 关 的 配置 ( 例如 , authorized keys 文 件 的 路 径 与 名 称 ) 可 以 通过 修改 文件 /etc/ssh/sshd_config 
来 完成 。 
































8.10.2 ”实战 演练 
设置 SSH 认 证 自动 化 需要 两 步 : 


(1) 在 本 地 主机 上 创建 SSH 密 钥 ; 

(2) 将 生成 的 公 钥 传 给 远程 主机 并 将 其 加 入 到 文件 ~/.ssh/authorized keys 中 ( 这 一 步 需 要 访问 
远程 主机 )。 

输入 命令 ssh-keygen 创 建 SSH 密 钥 ， 指 定 加 密 算法 类 型 为 RSA: 











$ ssh-keygen -t rsa 

Generating public/private rsa key pair. 

Enter file in which to save the key (/home/username/.ssh/id rsa): 
Created directory '/home/username/.ssh'. 

Enter passphrase (empty for no passphrase): 

Enter same passphrase again: 

Your identification has been saved in /home/username/.ssh/id rsa. 
Your public key has been saved in /home/username/.ssh/id rsa.pub. 
The key fingerprint is: 
f7:17:c6:4d:c9:ee:17:00:af:0f:b3:27:a6:9c:0a:05 username@slynux-laptop 
The key's randomart image is: 


8.11 使 用 SSH 实现 端口 转发 257 





+--[ RSA 2048]----+ 
1 s | 
1 Or “eel 
1 E Oo o.| 
1 ..00 | 

| -。S .+ +o.| 
1 | 
1 三 Ge 

| 5 | 
1 并 | 
+----------------- + 








你 需要 输入 口令 来 生成 一 对 公 钥 和 私 钥 。 如 果 不 输入 的 话 , 也 可 以 生成 密 钥 , 但 是 这 样 做 可 











如 果 你 打算 编写 脚本 ,利用 自动 登录 来 登入 多 台 主 机 ， 那 就 不 需要 使 用 口令 了 ,这 样 可 以 避 
免 脚本 在 运行 时 索要 口令 。 

ssh-keygen 程 序 会 生成 两 个 文件 : ~/.ssh/id_rsa.pub 和 ~/.ssh/id_rsa。 其 中 前 者 是 公 钥 , 后 者 是 
私 钥 。 公 钥 必 须 添加 到 想 要 自动 登入 的 远程 服务 器 的 ~/.ssh/authorized_keys 文 件 中 。 

可 以 使 用 下 列 命令 添加 密 钥 文 件 : 

$ ssh USER@REMOTE HOST \ 


"cat >> ~/.ssh/authorized keys" < ~/.ssh/id rsa.pub 
Password: 


在 上 面 的 命令 中 要 提供 登录 密码 。 


自动 登录 这 样 就 算 设置 好 了 。 从 现在 开始 ，SSH 在 运行 过 程 中 就 不 会 再 提示 输入 密码 。 你 可 
以 用 下 面 的 命令 来 测试 : 


























$ ssh USER@QREMOTE HOST uname 
Linux 


这 样 就 不 会 提示 你 输入 密码 了 。 多 数 Linux 发 行 版 中 都 有 一 个 叫 作 ssh-copy-igd 的 工具 ， 它 可 以 
自动 将 私 钥 添 加 到 远程 服务 器 的 authorized_keys 文 件 中 。 这 比 之 前 的 做 法 要 简洁 : 


ssh-copy-id USERQREMOTE HOST 








8.11 使 用 SSH 实现 端口 转发 


端口 转发 可 以 将 来 自 某 台 主 机 的 卫 连 接 重 定向 到 另 一 台 主 机 。 如 果 你 使 用 Linux/Unix 系 统 作 
为 防火 墙 , 你 可 以 将 端口 1234 上 的 连接 重 定向 到 其 他 内 部 地 址 ( 如 192.168.1.10:22 )， 从 而 为 外 部 
提供 一 个 可 以 抵达 内 部 主机 的 ssh 隧 道 。 











8.11.1 ”实战 演练 
你 可 以 将 本 地 主机 端口 上 的 流量 转发 到 另 一 台 主 机 上 ， 也 可 以 将 远程 主机 端口 上 的 流量 转 





258 第 8 章 无 网 不 利 








发 到 其 他 主机 。 按 照 下面 的 方法 ,一 旦 端口 转发 设置 完毕 ， 你 会 得 到 一 一 个 shell 提 示 符 。 在 进行 
端口 转发 的 过 程 中 ， 这 个 shell 必 须 保持 打开 状态 ， 什 么 时 候 想 停 止 转发 ， 只 需要 退出 该 shell 就 
可 以 了 。 
(1) 下 列 命令 会 将 本 地 主机 端口 8000 上 的 流量 转发 到 wwwkernelorg 的 端口 80 上 
ssh -L 8000:www.kernel.org:80 user@localhost 


将 上 述 命令 中 的 user 替 换 成 你 自己 的 本 地 主机 上 的 用 户 名 。 











(2) 下 列 命 令 会 将 远程 主机 端口 8000 上 的 流量 转发 到 www.kernel.org 的 端口 80 上 : 


ssh -L 8000:www.kernel .org:80 user@QREMOTE MACHINE 


























将 上 述 命令 中 的 REMoTE MACHINE 赫 换 成 远程 主机 的 主机 名 或 IP 地 址 , 将 user 蔡 换 成 使 用 
SSH 进 行 访问 的 用 户 名 。 


8.11.2 补充 内 容 
在 使 用 非 交互 模式 或 者 反 向 端口 转发 时 ， 端 口 转发 能 够 发 挥 更 大 的 作用 。 
1. 非 交 互 式 端口 转发 


























如 果 你 只 是 想 设置 端口 转发 ， 而 不 希望 在 端口 转发 时 有 一 个 总 是 保持 打开 状态 的 shell， 那 么 
可 以 像 下 面 这 样 使 用 ssh: 


ssh -fL8000:www.kernel .org:80 user@localhost -N 





-f 指 定 ssh 在 执行 命令 前 转 入 后 台 运 行 ，-N 告 诉 ssh 无 需 执 行 命令 ， 只 进行 端口 转发 。 
2. 反 向 端口 转发 





























反 向 端口 转发 是 SSH 最 强大 的 特性 之 一 。 如 果 你 有 一 台 无 法 通过 Internet 访 问 到 的 主机 , 但 是 
又 希望 其 他 用 户 可 以 访问 这 人 台 主 机 上 的 服务 , 那 就 是 反 向 端口 转发 大 显 身 手 的 时 候 了 。 如 果 你 能 
够 使 用 SSH 访 问 一 台 可 以 通过 Internet 访 问 的 远程 主机 , 那么 就 可 以 在 这 台 主 机 上 设置 反 向 端口 转 
发 ,将 流量 转发 到 运行 该 服务 的 本 地 主机 。 


ssh -R 8000:localhost:80 user@QREMOTE MACHINE 


上 述 命令 会 将 远程 主机 端口 8000 上 的 流量 转发 到 本 地 主机 的 端口 80 上 。 和 之 前 一 样 ， 别 忘 了 提 
REMOTE_MACHINE 替 换 成 远程 主机 的 主机 名 或 IP 地 址 。 


















































利用 这 种 方法 ， 如 果 你 在 远程 主机 上 浏览 http://localhost:8000， 那 么 实际 连接 的 是 运行 在 本 
地 主机 端口 80 上 的 Web 服 务 器 。 
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8.12 在 本 地 挂 载 点 上 挂 载 远程 驱动 器 


在 执行 数据 读 写 操作 时 , 如 果 可 以 通过 本 地 挂 载 点 访问 远程 主机 文件 系统 , 那 就 再 好 不 过 了 。 
SSH 是 网 络 中 常用 的 文件 传输 协议 。sshfs 利 用 SSH 实 现 了 在 本 地 挂 载 点 上 挂 载 远程 文件 系统 。 











8.12.1 预备 知识 


GNU/Linux 发 布 版 默认 并 不 包含 sshfs。 请 使 用 软件 包 管理 妖 自 行 安装 。sshfs 是 FUSE 文 件 
系统 软件 包 的 一 个 扩展 , 它 允 许 用 户 像 本 地 文件 系统 那样 挂 载 各 种 数据 ,Linux、Unix、Mac OS/X、 
Windows 等 都 支持 FUSE 的 各 种 版 本 。 








ei 有 关 FUSE 的 更 多 信息 ， 请 访问 http://fuse.sourceforge.net/。 


8.12.2 ”实战 演练 
将 位 于 远程 主机 上 的 文件 系统 挂 载 到 本 地 挂 载 点 上 : 





# sshfs -o allow other user@remotehost:/home/path /mnt/mountpoint 
Password: 


在 收 到 提示 时 输入 密码 。 现 在 位 于 远程 主机 /home/path 中 的 数据 就 可 以 通过 本 地 挂 载 点 
/mnt /mountpoint 来 访问 了 。 


使 用 下 面 的 命令 狠 载 : 


# umount /mnt/mountpoint 





8.12.3 ”参考 


8.6 节 讲解 了 ssh 命 令 。 





8.13 “分析 网 络 流量 与 端口 


每 一 个 应 用 程序 都 需要 通过 端口 访问 网 络 。 通 过 获取 开放 端口 列表 、 使 用 特定 端口 的 应 用 以 
及 运行 该 应 用 的 用 户 , 是 跟踪 系统 中 出 现 预期 和 非 预期 行为 的 一 种 方法 。 这 些 信 息 既 可 用 于 分 配 
资源 ， 也 可 用 于 检查 rootkits 或 其 他 恶意 软件 。 




















8.13.1 预备 知识 
很 多 命令 都 可 用 来 列 出 端口 以 及 运行 在 端口 上 的 服务 。1sof 和 netstat 命 令 在 绝 大 部 分 
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GNU/Linux 发 行 版 中 都 可 以 使 用 。 


8.13.2 ”实战 演练 





lsof (list open files ) 命令 可 以 列 出 已 打开 的 文件 。 选 项 -i 将 范围 限制 在 已 打开 的 网 络 连 接 : 
$ lsof -i 
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE 
NAME 
firefox-b 2261 slynux T8u IPVv4 63729 0t0 TCP 


localhost: 47797->localhost:42486 (ESTABLISHED) 


firefox-b 2261 slynux 80u IPVv4 68270 0t0 TCP 
slynux-laptop.local:41204->192.168.0.2:3128 (CLOSE WAIT) 


firefox-b 2261 slynux 82u IPVv4 68195 0t0 TCP 
slynux-laptop.local:41197->192.168.0.2:3128 (ESTABLISHED) 


ssh 3570 slynux 入 让 IPv6 30025 0t0 TCP 
localhost:39263->localhost:ssh (ESTABLISHED) 


ssh 3836 slynux 3u IPv4 43431 0t0 TCP 
slynux-laptop.local:40414->boney .mt .org:422 (ESTABLISHED) 


GoogleTal 4022 slynux 12u  IPv4 55370 0t0 TCP 
localhost:42486 (LISTEN) 


GoogleTal 4022 slynux 13u IPVv4 55379 0t0 pO 
localhost:42486->localhost:32955 (ESTABLISHED) 


lsof 的 每 一 项 输出 都 对 应 着 一 个 开放 端口 上 的 服务 。 输 出 的 最 后 一 列 类 似 于 : 


laptop.local:41197->192.168.0.2:3128 








输出 中 的 laptop .1local:41197 对 应 本 地 主机 ，192.168.0.2:3128 对 应 远程 主机 。41197 是 
本 地 主机 当前 的 开放 端口 ，3128 是 远程 主机 上 的 服务 端口 。 


要 列 出 本 地 主机 当前 的 开放 端口 ， 可 以 使 用 下 列 命令 : 




















$ lsof -i | grep ":[0-9a-z]l +->" -oOo | grep "[0-9a-z] +" -oOo | sort | unid 


8.13.3 工作 原理 


第 一 个 grep 中 使 用 的 正则 表达 式 :[0-9a-z]+-> 用 来 从 1sof 输 出 中 提取 主机 端口 部 分 
(:34395-> 或 :ssh-> )。 第 二 个 grep 用 来 删除 起 始 的 冒号 以 及 末尾 的 箭头 , 提取 端口 号 (数字 )。 
多 个 连接 可 能 会 使 用 同一 个 端口 , 因此 相同 的 端口 也 许 会 出 现 多 次 。 为 了 保证 每 个 端口 只 显示 一 
次 ， 将 端口 号 排序 并 使 用 unia 命 令 打 印 出 不 重复 的 部 分 。 
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8.13.4 补充 内 容 
还 有 其 他 一 些 工 具 也 可 以 用 来 查看 开放 端口 以 及 网 络 流量 相关 信息 。 
用 netstat 查 看 开放 端口 与 服务 
netstat 也 可 以 显示 网 络 服务 统计 信息 。 该 命令 的 功能 非常 多 , 已 经 超出 了 这 则 攻略 的 范围 。 
用 netstat -tnp 列 出 开放 端口 与 服务 : 














国 





$ netstat -tnp 


Proto Recv-Q Send-Q Local Address Foreign Address 
State PID/Program name 
tcp 0 0 192.168.0.82:38163 192.168.0.2:3128 


ESTABLISHED 2261/firefox-bin 


tcp 0 0 192.168.0.82:38164 192.168.0.2:3128 
TIME_ WAIT 
tcp 0 0 192.168.0.82:40414 193.107.206.24:422 


ESTABLISHED 3836/ssh 


tcp 0 0 127.0.0.1:42486 127.0.0.1:32955 
ESTABLISHED 4022/GoogleTalkPlug 


tcp 0 0 192.168.0.82:38152 192.168.0.2:3128 
ESTABLISHED 2261/firefox-bin 





tcp6 0 0 ::1:22 ::1:39263 
ESTABLISHED - 
tcp6 0 0 ::1:39263 22 


ESTABLISHED 3570/ssh 


8.14 测量 网 络 带宽 
之 前 介绍 的 ping 和 traceroute 能 够 测量 网 络 的 延迟 以 及 节点 间 的 跳 数 。 


iperf 能 够 提供 更 多 的 网 络 性 能 指标 。 系 统 中 默认 并 没有 安装 该 命令 ,可 以 通过 发 行 版 的 包 
管理 需 自 行 安装 。 























实战 演练 


iperf 必 须 安装 在 链 路 的 两 端 ( 服务 融 端 和 客户 端 ) 安装 好 之 后 ， 局 动 服务 需 端 ; 


$ iperf -s 
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然后 运行 客户 端 ， 生 成 否 叶 量 统 计 : 








$ iperf -c 192.168.1.36 

Client connecting to 192.168.1.36, TCP port 5001 

TCP window size: 19.3 KByte (default) 

[ 3] local 192.168.1.44 port 46526 connected with 192.168.1.36 port 5001 
[ ID] Interval Transfer Bandwidth 

[ 3] 0.0-10.0 sec 113 MBytes 94.7 Mbits/sec 


,中 


选项 -m 会 使 得 iperf 找 出 最 大 传输 单元 (Maximum Transfer Size, MTU ): 





$ iperf -mc 192.168.1.36 


Client connecting to 192.168.1.36, TCP port 5001 
TCP window size: 19.3 KByte (default) 


[ 3] local 192.168.1.44 port 46558 connected with 192.168.1.36 port 5001 
[ ID] Interval Transfer Bandwidth 

[ 3] 0.0-10.0 sec 113 MBytes 94.7 Mbits/sec 

[ 3] MSS size 1448 bytes (MTU 1500 bytes, ethernet) 


8.15 创建 套 接 字 


于 文件 传输 和 远程 shell 这 类 操作 ,我们 有 现成 的 工具 ( ftp 和 ssh ) 可 以 使 用 。 我 们 也 
可 以 编写 自己 的 脚本 实现 网 络 服务 。 在 这 则 攻略 中 , 我 们 会 演示 如 何 创建 简单 的 套 接 字 并 利用 


其 通信 。 


> 
































8.15.1 预备 知识 


netcat 或 nc 命令 都 可 以 创建 用 于 在 TCP/IP 网 络 上 传输 数据 的 套 接 字 。 我 们 需要 两 个 套 接 字 : 
一 个 负责 侦 听 连接 ， 一 个 负责 发 起 连接 。 











8.15.2 ”实战 演练 


(1) 设置 侦 听 套 接 字 : 
nc -1 1234 


这 会 在 本 地 主机 的 端口 1234 上 创建 一 个 侦 听 套 接 字 。 
(2) 连接 到 该 套 接 字 : 





nc HOST 1234 
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如 果 是 在 运行 着 侦 听 套 接 字 的 主机 上 执行 该 命令 ， 那 么 需要 将 HOST 更 换 成 Localhost， 
否则 将 其 更 换 成 其 他 主机 的 JP 地 址 或 主机 名 。 


(3) 在 执行 第 2 步 操作 的 主机 终端 中 输入 信息 并 按 回 车 键 ， 消 息 就 会 出 现在 执行 第 1 步 操作 的 
主机 终端 中 。 








8.15.3 ”补充 内 容 
网 络 套 接 字 可 不 是 只 能 用 来 发 送 文 本 ， 接 着 往 下 看 吧 
1. 在 网 络 上 快速 复制 文件 


我 们 可 以 利用 netcat 和 shell 重 定向 在 网 络 上 复制 文件 。 下 面 的 命令 能 够 向 侦 听 主机 发 送 
文件 。 


(1) 在 侦 听 端 执行 下 列 命令 : 
































O 





nc -1 1234 > destination filename 
(2) 在 发 送 端 执行 下 列 命令 : 

nc HOST 1234 < source filename 
2. 创建 广播 服务 器 


你 可 以 利用 netcat 创 建 定制 服务 器 。 下 面 的 脚本 创建 了 一 个 能 够 定时 ( 每 隔 10 秒 ) 发 送 时 
间 的 服务 器 。 可 以 使 用 客户 端 连接 到 侦 听 端口 获取 时 间 : 


# 该 脚本 会 将 时 间 发 送 到 端口 
while [1 1] 





done | nc -1 12345 
echo exited 


8.15.4 工作 原理 
之 所 以 能 够 使 用 nc 复制 文件 的 原因 在 于 其 会 将 套 接 字 的 输入 作为 输出 发 送 到 另 一 端 。 


广播 服务 器 略 有 点 复杂 。 循 环 while [ 1 ] 会 一 直 运 行 下 去 。 在 该 循环 中 ， 脚 本 会 休眠 10 
秒 钟 ， 然 后 调用 date 命 令 并 通过 管道 将 命令 输出 传 给 nc 命令 。 


你 可 以 使 用 nc 创建 一 个 客户 端 : 


$ nc 127.0.0.1 12345 
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8.16 搭建 网 桥 


如 果 你 有 两 个 独立 的 网 络 , 可 能 需要 菜 种 方法 将 数据 从 一 个 网 络 传 到 另 一 个 网 络 。 这 通常 可 
以 通过 使 用 路 由 咒 、 集 线 器 或 交换 机 连接 两 个 网 络 来 实现 。 


Linux 系 统 可 以 作为 网 桥 使 用 。 


网 桥 是 一 种 低层 连接 , 它 并 不 是 基于 IP 地 址 , 而 是 使 用 MAC 地 址 传递 分 组 。 其 自身 需要 的 资 


你 可 以 使 用 网 桥 连接 不 可 路 由 的 私有 网 络 ( private, non-routed network ) 中 的 主机 ， 或 是 连 
接 公 司 中 独立 的 子 网 ， 亦 或 是 将 生产 子 网 与 运送 子 网 互联 ， 实 现 产品 信息 共享 。 














































































































8.16.1 预备 知识 


Linux 内 核 从 2.2 版 开始 支持 网 络 桥接 。 目 前 用 于 定义 网 桥 的 工具 是 iproute2 ( ip ) 命令 。 大 多 
数 发 行 版 中 都 包含 该 工具 。 








8.16.2 ”实战 演练 
ip 命 令 采用 “命令 / 子 命令 ”的 形式 执行 多 种 操作 。 我 们 使 用 ip 1ink 命 令 搭建 网 桥 。 








如 果 以 太 网 适配器 加 入 了 网 桥 ,， 该 适配器 就 不 能 再 配置 IP 地 址 。 需要 配置 IP 
地 址 的 是 网 桥 。 


在 下 面 的 例子 中 ， 有 两 个 网 卡 : eth0 被 配置 连接 到 子 网 192.168.1.0，eth1 没 有 配置 ， 但 会 
过 网 桥 连接 到 子 网 10.0.0.0。 


# 创建 名 为 br0 的 新 网 桥 
ip link add br0 type bridge 

















总 


# 将 以 太 网 适配器 添加 到 网 桥 
ip link set dev ethl master br0 


# 配置 网 桥 的 IP 地 址 
ifconfig br0 10.0.0.2 


# 启用 分 组 转发 


echo 1 >/proc/sys/net/ipv4/ip forward 


所 创建 出 的 网 桥 使 得 分 组 可 以 在 eth0 和 eth1l 之 间 传 递 。 在 网 桥 生效 之 前 ， 我 们 需要 将 其 加 
入 路 由 表 。 


对 于 网 络 10.0.0.0/24 中 的 主机 ， 添 加 到 网 络 192.168.1.0/16 路 由 表 项 : 
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route add -net 192.168.1.0/16 gw 10.0.0.2 


网 络 192.168.1.0/16 中 的 主机 需要 知道 如 何 找到 网 络 10.0.0.0/24。 如 果 etho 配 置 了 IP 地 址 
192.168.1.2， 则 使 用 route 命 令 : 











route add -net 10.0.0.0/24 gw 192.168.1.2 


8.17 Internet 连接 共享 


大 多 数 防 火 墙 /路 由 器 都 能 够 让 你 的 家 庭 或 办 公 室 设 备 共 享 Internet 连 接 。 这 种 技术 叫 作 网 络 
地 址 转换 (Network Address Translation ，NAT )。 安 装 了 两 块 网 络 接口 卡 (Network Interface Card ， 
NIC ) 的 Linux 计 算 机 可 以 用 作 路 由 器 ， 提 供 防火 墙 保护 以 及 连接 共享 。 


防火 墙 和 NAT 功 能 都 是 由 建立 在 内 核 中 的 iptables 所 提供 的 。 这 则 攻略 介绍 了 如 何 通过 
iptables 实 现 以 太 网 与 无 线 设备 之 间 的 Internet 连 接 共享 。 

































































8.17.1 预备 知识 


我 们 使 用 iptables 设 置 了 网 络 地 址 转换 ， 使 得 多 个 联网 设备 能 够 共享 Internet 连 接 。 你 需要 
使 用 iwconfig 命 令 来 获得 无 线 接口 的 名 称 。 


8.17.2 ”实战 演练 


(1) 连接 到 Internet。 在 这 里 我 们 假设 使 用 的 是 有 线 网 络 连 接 ， 通 过 eth0 连 接 到 Internet。 请 按 区 
照 你 个 人 的 实际 情况 进行 修改 。 

(2) 使 用 发 行 版 自 带 的 网 络 管理 工具 ， 创 建 一 个 新 的 ad hoc 无 线 连接 ， 配 置 如 下 : 

口 IP 地 址 : 10.99.66.55。 

口 子 网 掩 码 : 255.255.0.0 ( 16 )。 


(3) 使 用 下 面 的 shell 脚 本 来 实现 Internet 连 接 共享 : 


#!/bin/bash 
# 文 件 名 : netsharing.sh 






































echo 1 > /proc/sys/net/ipv4/ip_ forward 


iptables -A FORWARD -i $1 -o $2 \ 
-S 10.99.0.0/16 -m conntrack --ctstate NEW -j ACCEPT 


iptables -A FORWARD -m conntrack --ctstate \ 
ESTABLISHED, RELATED -j ACCEPT 


iptables -A POSTROUTING -t nat -j MASQUERADE 
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(4) 执行 脚本 : 
./netsharing.sh eth0 wlan0 
其 中 ，eth0 是 连接 到 Internet 的 接口 ，wlan0 是 无 线 接口 ， 支 持 与 其 他 设备 共享 Internet 
连接 。 

(5) 将 设备 连接 到 刚才 创建 的 无 线 网 络 : 


口 IP 地 址 : 10.99.66.56 ( 以 此 类 推 )。 
口子 网 掩 码 : 255.255.0.0。 











要 想 更 方便 ,可 以 在 主机 上 安装 DHCP 和 DNS 服 务 器 ,这样 就 不 必 手 动 配置 IP 
地 址 了 。 你 可 以 使 用 一 个 叫 作 ansmasd 的 工具 来 方便 地 执行 DHCP 和 DNS 操作 。 


8.17.3 工作 原理 


有 3 组 不 能 被 路 由 的 耳 地 址 "。 这 意味 着 能 接 人 Internet 的 网 卡 都 不 能 使 用 这 些 地 址 。 只 有 内 部 
网 络 可 以 使 用 。 这 3 组 地 址 分 别 是 10.x.x.x、192.168.x.x 以 及 172.16.x. x-> 172.32.x.x。 在 这 则 攻略 
中 ， 我 们 从 10.x.x.x 地 址 空间 中 选用 了 一 部 分 作为 内 部 网 络 地 址 。 

默认 情况 下 ，Linux 系 统 只 接收 或 生成 分 组 ， 并 不 会 重 传 (echo ) 分 组 。 这 种 行为 是 由 
in/proc/sys/net/ipv4/ip_forward 的 值 所 控制 的 。 

将 该 值 设置 为 1 会 使 Linux 转 发 所 有 无 法 识别 的 分 组 ,在 子 网 10.99.66.x 上 的 无 线 设 备 可 以 使 用 
10.99.66.55 作 为 网 关 。 这 些 无 线 设 备 会 将 发 往 Internet 的 分 组 交 给 10.99.66.55， 由 后 者 将 分 组 再 转 
发 给 sth0 上 的 Internet 网 关 ， 然 后 送 至 目的 地 。 


iptables 命 令 负责 与 Linux 内 核 中 的 iptables 子 系统 交互 。 该 命令 可 以 添加 各 种 规则 ， 从 而 在 
内 部 网 络 和 外 部 网 络 之 间 转 发 分 组 。 


下 一 则 攻略 中 ， 我 们 将 讨论 iptables 的 更 多 用 法 。 




















8.18 使 用 iptables 架设 简易 防火 墙 


防火 墙 是 一 种 网 络 服务 ， 它 可 以 过 滤 、 阻 止 不 需要 的 网 络 流量 ， 人 允许 正常 的 网 络 流量 通过 。 
Linux 中 的 标准 防火 墙 工 具 是 iptables， 它 目前 已 经 被 集成 到 了 内 核 中 。 


















































OD 更 常见 的 说 法 是 “保留 地 址 ”。 


8.18 使 用 iptables 架设 简易 防火 墙 
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8.18.1 ”实战 演练 





如 今 所 有 的 Linux 发 行 版 中 默认 都 包含 了 iptables。 对 于 一 些 典 型 的 场景 ，iptables 用 起 


来 很 简单 。 
(1) 如 果 你 不 希望 访问 特定 站 点 (例如 恶意 站 点 )， 可 以 阻止 发 送 到 该 IP 地 址 的 流量 


#iptables -A OUTPUT -d 8.8.8.8 -j DROP 














如 果 在 另 一 个 终端 中 执行 PING 8.8.8.8， 然 后 再 执行 jptables 命 令 ， 你 会 看 到 : 











PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data. 

64 bytes from 8.8.8.8: icmp_ req=1 ttl=56 time=221 ms 
64 bytes from 8.8.8.8: icmp_ req=2 ttl1l=56 time=221 ms 
ping: sendmsg: Operation not permitted 

ping: sendmsg: Operation not permitted 

















ping 命 令 在 执行 到 第 三 次 的 时 候 失败 了 ， 这 是 因为 我 们 使 用 iptaples 将 所 有 发 送 到 


8.8.8.8 的 流量 给 丢弃 了 。 
(2) 阻止 发 送 到 特定 端口 的 流量 : 
#iptables -A OUTPUT -p tcp -dport 21 -j DROP 


$ ftp ftp.kde.org 
ftp: connect: Connection timed out 


如 果 你 在 /var/1log/secure 或 /var/1og/messages 中 发 现 类 似 于 下 面 的 信息 ， 就 说 明 


碰 上 了 一 点 小 麻烦 : 





Failed password for abel from 1.2.3.4 port 12345 ssh2 
Failed password for baker from 1.2.3.4 port 12345 ssh2 





这 些 信息 说 明 有 机 器 人 正在 探测 你 的 系统 是 否 存 在 弱 密 码 。 你 可 以 使 用 INPUT 规 则 阻止 机 带 





人 访问 站 点 ， 这 条 规则 会 丢弃 所 有 机 器 人 所 在 地 址 的 流量 : 


#iptables -I INPUT -s 1.2.3.4 -j DROP 


8.18.2 ”工作 原理 





























iptables 是 Linux 系 统 中 用 来 配置 防火 墙 的 命令 。iptables 中 的 第 一 个 选项 可 以 是 -A， 表 
明 向 链 ( chain ) 中 添加 一 条 新 的 规则 ， 也 可 以 是 -I， 表 明 将 新 的 规则 插入 到 规则 集 的 开头 。 接 



































下 来 的 参数 指定 了 链 。 所谓 链 就 是 若干 条 规则 的 集合 ,在 早先 的 例子 中 我 们 使 用 的 是 0U 





TPUT 链 ， 


它 可 以 控制 所 有 的 出 站 流量 (outgoing traffic )， 而 在 上 一 个 例子 中 ， 用 到 的 是 INPUT 链 ， 它 能 够 


控制 所 有 的 入 站 流量 (incoming traffic )。 


-gd 指 定 了 所 要 匹配 的 分 组 目的 地 址 ，-s 指 定 了 分 组 的 源 地 址 。 最 后 ，-j 指 示 iptables 执 行 
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到 特定 的 处 理 (action ) 。 在 这 些 例子 中 ,我 们 对 分 组 采用 的 处 理 方 式 是 DROP ( 丢弃 )。 其 他 处 理 
方式 还 包括 ACCEPT 和 REJECT。 

在 第 二 个 例子 中 ，-p 指 定 规则 仅 适用 于 TCP，-dport 指 定 了 对 应 的 端口 。 这 样 我 们 就 可 以 
只 阻止 所 有 出 站 的 FTP 流 量 了 。 




















8.18.3 ”补充 内 容 
可 以 使 用 选项 -flush 清 除 对 iptables 链 所 作出 的 所 有 改动 ; 


#iptables -flush 


8.19 ”创建 虚拟 私有 了 网络 


虚拟 私有 了 网络 ( Virtual Private Network，VPN ) 是 建立 在 公 网 之 上 的 加 密 通 道 。 加 密 能 够 保 
证 个 人 信息 的 私密 性 .VPN 可 用 于 连接 远程 办 公 点 、 散 布 多 处 的 生产 制造 站 点 以 及 远程 工作 人 员 。 

我 们 已 经 讨论 过 使 用 nc 、scp 或 ssh 复 制 文 件 。 有 了 VPN， 你 可 以 通过 NFS 挂 载 远 程 驱动 器 
并 像 访问 本 地 资源 那样 访问 远程 网 络 上 的 资源 。 

Linux 拥 有 不 同 的 VPN 系 统 的 客户 端 ， 另 外 还 包括 OpenVPN 的 客户 端 与 服务 器 。 

接 下 来 将 会 讲解 如 何 设置 OpenVPN 的 服务 器 和 客户 端 , 在 这 则 攻略 中 , 我 们 会 配置 单个 服务 
器 来 为 轮 辐 式 模 型 (hub and spoke model ) 中 的 多 个 客户 端 服务 。OpenVPN 还 支持 其 他 更 多 的 拓 
扑 结 构 ， 不 过 这 些 内 容 已 经 超出 了 本 章 的 范围 。 



































8.19.1 预备 知识 
多 数 Linux 发 行 版 中 并 不 包含 OpenVPN。 你 需要 使 用 包 管 理 器 自行 安装 : 
apt-get install openvpn 


或 者 








yum install openvpn 
注意 ， 在 客户 端 和 服务 器 端 都 需要 像 这 样 进行 安装 。 


确定 隧道 设备 ( /dev/net/tun ) 存在 。 在 服务 顺和 客户 端 上 都 要 测试 。 在 如 今 的 Linux 系 
统 中 ， 隧 道 应 该 是 不 会 少 的 : 


ls /dev/net/tun 
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8.19.2 ”实战 演练 


设置 OpenVPN 的 第 一 步 就 是 为 服务 器 和 至 少 一 个 客户 端 生成 证 书 。 最 简单 的 方法 就 是 使 用 
easy-rsa 制 作 自 签名 证 书 , 该 工具 包含 在 OpenVPN 预 发 行 版 2.3 中 。 如 果 你 用 的 是 更 高 的 
OpenVPN 版 本 ， 可 以 通过 包 管 理 顺 安装 easy-rsao。 
































其 默认 安装 位 置 位 于 /usr/ share/easy-rsao 
1. 生成 证 书 
首先 确保 没有 之 前 安装 版 本 的 遗留 文件 : 





# cd /usr/share/easy-rsa 
# . ./vars 
# ./clean-all 


注意 : 如 果 你 运行 ./clean-all， 它 会 在 /usr/share/easy-rsa/keys 
上 执行 rm -rf。 


接 下 来 ， 使 用 buila-ca 命 令 生成 认证 授权 ( Certificate 0 该 命令 会 提示 你 关于 站 
点 的 一 些 信息 。 这 些 信 息 你 得 输入 多 次 。 使 用 你 的 名 字 、 电 子 邮 件 、 站 点 名 等 信息 替换 下 列 输出 
中 相应 的 内 容 。 下 面 几 个 命令 中 要 求 的 信息 略 有 不 同 。 在 这 里 我 们 只 显示 不 同 的 部 分 : 


# ./build-ca 
Generating a 2048 bit RSA private key 








You are about to be asked to enter information that will be incorporated 
into your certificate request. 

What you are about to enter is what is called a Distinguished Name or a DN. 
There are quite a few fields but you can leave some blank 

For somefieldsthere will be a default value, 

If you enter '.', the field will be left blank. 

Country Name (2 letter code) [US] : 

State or Province Name (full name) [CRA] :MI 

Locality Name (eg, city) [SanFranciscol] :WhitmoreLake 

Organization Name (eg, company) [Fort-Funston] :Example 

Organizational Unit Name (eg, section) [MyOrganizationalUnit]:Packt 
Common Name (eg, your name or your server's hostname) [Fort-Funston 

CA] :vpnserver 

Name [EasyRSA] : 

Email Address [me@myhost .mydomain] :admin@example.com 


然后 ， 使 用 build-kevy 命 令 生 成 服务 器 证 书 ， 





# ./build-key server 
Generating a 2048 bit RSA private key 
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y 


二 二 


Se tt 
writing new Private key to 'server.key' 


You are about to be asked to enter information that will be incorporated 
into your certificate request.... 


Please enter the following 'extra' attributes 
to be sent with your certificate request 
A challenge password []: 


为 至 少 一 个 客户 端 生成 证 书 。 对 于 每 个 想 连接 到 该 OpenVPN 服 务 器 的 主机 , 都 需要 单独 的 客 





户 端 证 书 : 


# ./build-key client1 

Generating a 2048 bit RSA private key 

i 

NO 全 全 人 站 下 夫 贡 二 二 

writing new private key to 'clientl.key' 

You are about to be asked to enter information that will be incorporated 
into your certificate request. 


Please enter the following 'extra' attributes 

to be sent with your certificate request 

A challenge password []: 

An optional company name []: 

Using configuration from /usr/share/easy-rsa/openssl-1.0.0.cnf 
Check that the request matches the signature 

Signature ok 

The Subject's Distinguished Name is as follows 

CountryName :PRINTABLE:'US' 

stateOrProvinceName :PRINTABLE:'MI' 

localityName :PRINTABLE:'WhitmoreLake' 

organizationName :PRINTABLE:'Example' 
organizationalUnitName:PRINTABLE:'Packt' 

commonName :PRINTABLE:'client1' 

name :PRINTABLE: 'EasyRSA' 
emailAddress:IA5STRING: 'admin@Qexample .com' 

Certificate is to be certified until Jan 8 15:24:13 2027 GMT (3650 days) 
Sign the certificate? [y/nl]l:y 


1 out of 1 certificate requests certified, commit? [y/n]y 
Write out database with 1 new entries 
Data Base Updated 


最 后 ， 使 用 bui1d-gh 命 令 生 成 Diffie-Hellman。 这 个 过 程 得 花 上 好 几 秒 时 间 ， 同 时 产生 几 屏 








黄 是 点 号 和 加 号 的 内 容 : 
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# ./build-dh 

Generating DH parameters, 2048 bit long safe prime, generator 2 
This is going to take a long time 

I le re ot ord ee Ye 


这 些 步骤 会 在 keys 目 录 中 创建 多 个 文件 。 下 一 步 是 将 这 些 文件 复制 到 需要 的 目录 中 。 
将 服务 需 密 钥 复制 到 /etc/openvpn: 




















# cp keys/server* /etc/openvpn 
# cp keys/ca.crt /etc/openvpn 
# cp keys/dh2048.pem /etc/openvpn 


将 客户 端 密 钥 复制 到 客户 端 系统 : 


# scp keys/clientl* ClLient.example.com:/etc/openvpn 
# scp keys/ca.crt client .example.com:/etc/openvpn 


2. 在 服务 器 上 配置 OpenVPN 


OpenVPN 包 含 一 些 基 本 上 可 以 直接 使 用 的 配置 文件 样本 。 你 只 需要 根据 所 在 环境 修改 其 中 
的 几 行 就 可 以 了 。 这 些 文件 通常 可 以 位 于 /usr/share/doc/openvpn/examples/sample- 


config-files: 














# cd /usr/share/doc/openvpn/examples/sample-config-files 
# cp server .conf .gz /etc/openvpn 

# cd /etc/openvpn 

# gunzip server.conf.gz 

# vim server.conf 





设置 用 于 侦 听 的 本 地 IP 地 址 。 这 是 连接 到 网 络 上 的 网 卡 IP 地 址 , 你 打算 通 
local 192.168.1.125 
修改 证 书 路 径 : 


ca /etc/openvpn/ca.crt 
cert /etc/openvpn/server.crt 
key /etc/openvpn/server.key # 该 文件 注意 保密 


最 后 ， 检 查 diffie-hellman 参 数 文件 是 否 正 确 。OpenVPN 的 config 文 件 样 本 中 可 以 指定 
长 度 为 1024 位 ( 1024-bit ) 的 密 钥 ， 而 easy-rsa 能 够 生成 2048 位 的 密 钥 ( 更 安全 )。 











#dh dh1024.pem 
dh dh2048.pem 


3. 在 客户 端 上 配置 OpenVPN 
每 个 客户 端 上 的 配置 步骤 都 差不多 。 
将 客户 端 配置 文件 复制 到 /etc/openvpn: 
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# cd /usr/share/doc/openvpn/examples/sample-config-files 
# cpclient.conf /etc/openvpn 





编辑 client .conf 文 件 : 














# cd /etc/openvpn 
# vim client.conf 


修改 证 书 路 径 ， 使 其 指向 正确 的 目录 : 


ca /etc/openvpn/ca.crt 
cert /etc/openvpn/server.crt 
key /etc/openvpn/server.key # 该 文件 注意 保密 


设置 服务 絮 : 


#remote my-server-1 1194 
remote server.example.com 1194 


4. 启动 服务 器 




















服务 需 现 在 就 可 以 启动 了 。 如 果 配 置 方面 没有 问题 ， 你 会 看 到 几 行 输出 。 需 要 注意 的 一 行 是 























Initialization Sequence Completed。 如 果 找 不 到 这 一 行 ， 就 需要 在 输出 中 往 前 查找 错误 


言 息 了 了 


# openvpnserver.conf 

Wed Jan 11 12:31:08 2017 OpenVPN 2.3.4 x86_ 64-pc-linux-gnu [SSL (OpenSSL) ] 
[LZ0] [EPOLL] [PKCS11] [MH] [IPV6] built on Nov 12 2015 

Wed Jan 11 12:31:08 2017 library versions: OpenSSL 1.0.1t 3 May 2016, LZO 
4 


Wed Jan 11 12:31:08 2017 client1,10.8.0.4 
Wed Jan 11 12:31:08 2017 Initialization Sequence Completed 


使 用 ;ifconfig 命令 验证 服务 顺 是 否 运行 。 你 应 该 能 看 到 列 出 的 隧道 设备 〈tun ): 























$ ifconfig 
tun0 Link encap:UNSPECHWaddr 
00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00 
inet addr:10.8.0.1 P-t-P:10.8.0.2 Mask:255.255.255.255 
UP POINTOPOINT RUNNING NOARP MULTICAST MTU:1500 Metric:1 
RX packets:0 errors:0 dropped:0 overruns:0 frame:0 
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:100 
RX bytes:0 (0.0 B) Tx bytes:0 (0.0 B) 


5. 启动 并 测试 客户 站 

















一 旦 服务 絮 启 动 ， 你 就 可 以 运行 客户 端 了 。 和 服务 器 一 样 ，OpenVPN 的 客户 端 也 是 通 








openvpn 命 令 创 建 的 。 还 是 一 样 ， 注 意 Initialization Sequence Completed 这 一 行 : 
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# openvpn client .conf 

Wed Jan 11 12:34:14 2017 OpenVPN 2.3.4 i586-pc-linux-gnu [SSL (OpenSssL)] 
[LZO0] [EPOLL] [PKCS11] [MH] [IPV6] built on Nov 19 2015 

Wed Jan 11 12:34:14 2017 library versions: OpenSSL 1.0.1t 3 May 2016, LZO 
2.08... 


Wed Jan 11 12:34:17 2017 /sbin/ipaddr add dev tun0 local 10.8.0.6 peer 
10.8.0.5 

Wed Jan 11 12:34:17 2017 /sbin/ip route add 10.8.0.1/32 via 10.8.0.5 
Wed Jan 11 12:34:17 2017 Initialization Sequence Completed 


使 用 ifconfig 命 令 验 证 隧道 是 否 已 经 初始 化 : 





$ /sbin/ifconfig 


tun0 Link encap:UNSPECHWaddr 00-00-00-00-00-00-00-00...00-00-00-00 
inet addr:10.8.0.6 P-t-P:10.8.0.5 Mask:255.255.255.255 
UP POINTOPOINT RUNNING NOARP MULTICAST MTU:1500 Metric:1 
RX packets:2 errors:0 dropped:0 overruns:0 frame:0 
TX packets:4 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:100 
RX bytes:168 (168.0 B) TX bytes:336 (336.0 B) 


使 用 netstat 命 令 验 证 新 网 络 对 应 的 路 由 是 否 正确 : 











$ netstat -rn 
Kernel IP routing table 


Destination Gateway Genmask Flags MSS Window irttIface 
0.0.0.0 192.168.1.7 0.0.0.0 UG 0 0 0 eth0 
10.8.0.1 10.8.0.5 255.255.255.255 UGH 0 0 0 tun0 
10.8.0.5 0.0.0.0 255.255.255.255 UH 0 0 0 tun0 
192 .168.1.0 6.0.020 255.255.255.0 U 0 0 0 eth0 


命令 输出 中 显示 隧道 设备 连接 到 网 络 10.8.0.x， 对 应 的 网 关 是 10.8.0.1。 
最 后 ， 可 以 使 用 ping 命 令 测 试 连通 性 : 
$ ping 10.8.0.1 


PING 10.8.0.1 (10.8.0.1) 56(84) bytes of data. 
64 bytes from 10.8.0.1: icmp_ seq=1 ttl=64 time=1.44 ms 








Vr 














本 章 内 容 


口 监视 磁盘 使 用 情况 

口 计算 命令 执行 时 间 

口 收集 登录 用 户 、 启 动 日 志 及 启动 故 障 的 
相关 信息 
口 列 出 1 小 时 内 占用 CPU 最 多 的 10 个 进程 
口 使 用 watch 监 视 合 令 输 出 

口 记录 文件 及 目录 访问 情况 

口 使 用 syslog 记 录 日 志 

口 使 用 logrotate 管 理 日 志文 件 


9.1 简介 














口 通过 监视 用 户 登录 找 出 入 侵 者 
口 监视 远程 磁盘 的 健康 情况 

口 确定 系统 中 用 户 的 活跃 时 上 段 
口 电源 使 用 情况 的 测量 与 优化 
口 监视 磁盘 活动 

口 检查 磁盘 及 文件 系统 错误 

口 检查 磁盘 健康 情况 

口 获取 磁盘 统计 数据 











计算 机 系统 是 由 一 组 硬件 以 及 控制 这 些 硬件 的 软件 组 成 的 。 软 件 包 括 负责 分 配 职员 的 操作 系 
统 内 核 以 及 执行 各 种 任务 的 众多 模块 ， 这 些 任 务 从 读 取 磁 盘 数 据 到 提供 Web 页 面 服务 。 





系统 管理 员 需 要 监视 这 些 模块 和 应 用 程序 ,确保 其 工作 正常 , 同时 搞 清 楚 是 否 需要 重新 分 配 

















资源 ( 将 用 户 分 区 迁移 到 更 大 的 磁盘 、 提 供 速度 更 快 的 网 络 等 )。 


Linux 既 提供 了 能 够 检查 系统 当前 性 能 的 交互 式 程序 ， 也 提供 了 用 于 记录 一 段 时 期 内 系统 性 


能 表现 的 模块 。 








在 本 章 中 ， 我 们 将 要 和 一 些 监视 系统 活动 的 命令 打交道 ， 同 时 还 要 学 习 日 志 技术 。 


9.2 监视 磁盘 使 用 情况 














磁盘 空间 总 是 一 种 有 限 资 源 。 我 们 监视 磁盘 使 用 情况 ， 了解 何 时 空间 捉襟见肘 ， 然 后 找到 大 
体积 的 文件 或 目录 ， 将 其 删除 、 移 动 或 压缩 。 这 则 攻略 将 会 讲解 磁盘 监视 相关 的 命令 。 








9.2 ”监视 磁盘 使 用 情况 275 





9.2.1 预备 知识 


qu (diskusage ) 和 df (disk free ) 命令 可 以 报告 磁盘 使 用 情况 。 这 两 个 工具 能 够 统计 出 文件 
和 目录 的 磁盘 占用 情况 以 及 可 用 的 磁盘 空间 。 











9.2.2 ”实战 演练 
找 出 某 个 文件 (或 多 个 文件 ) 占用 的 磁盘 空间 : 
$ du FILENAME1 FILENAME2 .. 

例如 : 
$ du file.txt 


要 获得 某 个 目录 中 所 有 文件 的 磁盘 使 用 情况 , 并 在 每 一 行 中 显示 各 个 文件 的 具体 详情 , 可 以 
使 用 : 


$ du -a DIRECTORY 


选项 -a 递归 地 输出 指定 目录 或 多 个 目录 中 所 有 文件 的 统计 结 








执行 gu DIRECTORY 也 可 以 输出 类 似 的 结果 , 但 是 它 只 会 显示 子 目 录 使 用 的 磁 
盘 空 间 , 而 不 显示 每 个 文件 的 占用 情况 。 要 想 显示 各 个 文件 的 情况 ,必须 使 用 -a。 


例如 : 





$ du -a test 

4 test/output.txt 

4 test/process log.sh 
4 test/pcpu.sh 

16 test 


du 命令 也 可 以 用 于 目录 : 


$ du test 
16 test 


9.2.3 ”补充 内 容 
du 命令 还 包括 了 一 些 可 以 定义 命令 输出 形式 的 选项 。 


1. 以 KB、MB 或 块 (block) 为 单位 显示 磁盘 使 用 情况 











qu 命令 默认 显示 文件 占用 的 总 字 节 数 ， 但 是 以 KB 、MB 或 GB 为 单位 显示 磁盘 使 用 情况 更 方 
便 人 们 阅读 。 要 采用 这 种 更 友好 的 格式 进行 打印 ， 可 以 使 用 选项 -h: 





Gy 


276 第 9 章 ” 明 察 秋 





du -h FILENAME 
例如 : 


$ du -h test/pcpu.sh 
4.0K test/pcpu.sh 
# 可 以 接受 多 个 文件 参数 


或 者 
# du -h DIRECTORY 


$ du -h hack/ 
16K hack/ 


2. 显示 磁盘 使 用 总 计 
选项 -c 可 以 计算 出 文件 或 目录 所 占用 的 总 的 磁盘 空间 ， 另 外 还 会 输出 单个 文件 的 大 小 : 


$ du -C FILENAME1 FILENAME2.. 
du -c process log.sh pcpu.sh 
4 process log.sh 

4 pcpu.sh 

8 total 


或 者 


$ du -cc DIRECTORY 
$ du -c test/ 

16 test/ 

16 total 


或 者 


$ du -c *.txt 
# 通配符 


-c 可 以 同 -a、-h 等 选项 配合 使 用 生成 常见 的 输出 ， 另 外 还 会 多 出 一 行 磁盘 使 用 情况 总 计 。 
另 一 个 选项 -s ( summarize， 总 计 ) 则 只 输出 总 计数 据 。 它 可 以 配合 -hn 打印 出 人 们 易 读 的 
格式 : 


$ du -sh /usr/bin 
256M /usr/bin 


3. 使 用 特定 的 单位 打印 文件 


选项 -bp、-k 和 -m 可 以 强制 gu 使 用 特定 的 单位 打印 磁盘 使 用 情况 。 注 意 ， 这 些 选项 不 能 与 -h 
一 同 使 用 : 


口 打印 以 字 节 《默认 输出 ) 为 单位 的 文件 大 小 : 


$ du -b FILE(s) 
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D 打印 以 KB 为 单位 的 文件 大 小 : 

$ du -k FILE(s) 

口 打印 以 MB 为 单位 的 文件 大 小 : 

$ du -m FILE(s) 

口 打印 以 指定 块 为 单位 的 文件 大 小 : 
$ du -B BLOCK SIZE FILE(Ss) 


其 中 ，BLOCK_SIZE 以 字 节 为 单位 。 


注意 ， 上 述 选 项 返回 的 文件 大 小 并 不 直观 。 如 果 使 用 选项 -bp，du 会 以 字 节 为 单位 ， 返 回 文 
件 的 准确 大 小 。 如 果 使 用 的 是 其 他 选项 ,au 返回 的 是 文件 所 占 的 磁盘 空间 大 小 。 因 为 磁盘 空间 是 
根据 固定 大 小 的 块 (通常 是 4K ) 来 分 配 的 ， 因 此 一 个 400 字 节 的 文件 所 占用 的 磁盘 空间 就 是 一 个 
块 (4K ): 


$ du pcpu.sh 

4 pcpu.sh 

$ du -b pcpu.sh 
439 pcpu.sh 

$ du -k pcpu.sh 

4 pcpu.sh 

$ du -m pcpu.sh 

1 pcpu.sh 

$ du -B 4 pcpu.sh 
1024 pcpu.sh 


4. 从 磁盘 使 用 统计 中 排除 部 分 文件 
选项 --exclude 和 --exclude-from 可 以 让 qu 在 磁盘 使 用 统计 中 排除 部 分 文件 。 9 
(1) 选项 --excluae 可 以 与 通配符 或 单个 文件 名 配合 使 用 : 
$ du --exclude "WILDCARD" DIRECTORY 
例如 : 
# 排除 所 有 的 .txt 文 件 
$ du --exclude "*.txt" * 
# 排除 文件 temp .上 txt 
$ du --exclude "temp.txt" * 
(2) 选项 --exclude 会 排除 匹配 模式 的 一 个 或 多 个 文件 。 选 项 --exclude-from 能 够 排除 多 
个 文件 或 模式 。 每 个 文件 名 或 模式 必须 独占 一 行 。 


$ 1s * .txt >EXCLUDB .txt 
$ ls *.odt >>EXCLUDE .txt 
# EXCLUDE .txt 中 包含 了 需要 排除 的 文件 列表 
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$ du --exclude-from EXCLUDE.txt DIRECTORY 


选项 --max-aepth 可 以 限制 au 应 该 遍历 多 少 层 子 目 录 。 将 该 选项 指定 为 1， 可 以 统计 当 
前 目录 的 磁盘 使 用 情况 。 指 定 为 2, 可 以 统计 当前 目录 以 及 下 一 级 子 目 录 的 磁盘 使 用 情况 : 


$ du --max-depth 2 DIRECTORY 














刍 选项 -x 可 以 限制 Qu 只 对 单个 文件 系统 进行 统计 。du 默 认 会 跟随 符号 链接 
和 挂 载 点 。 


当 使 用 au 命令 时 ,要 确保 其 对 所 有 的 文件 有 读 权 限 , 对 所 有 的 目录 有 读 权限 和 执行 权限 。 如 
果 权 限 不 合适 ，qu 会 返回 出 错 信息 。 


5. 找 出 指定 目录 中 最 大 的 10 个 文件 
du 和 sort 命 令 能 够 找 出 需要 被 删除 或 移 走 的 大 文件 : 


$ du -ak SOURCE DIR | sort -nrk 1 | head 


选项 -a 可 以 显示 出 SOURCE_DIR 中 所 有 文件 和 目录 的 大 小 。 输 出 的 第 一 列 就 是 文件 大 小 。 选 项 -k 
表示 以 KB 为 单位 。 第 二 列 包含 文件 或 目录 的 名 称 。 


sort 的 选项 -n 指 明 按 数值 排序 ， 选 项 -1 和 -r 指 明 对 第 一 列 按 道 序 排序 。neagd 用 来 从 输出 中 
提取 前 10 行 : 




















$ du -ak /home/slynux | sort -nrk 1 | head -n 4 
50220 /home/slynux 

43296 /home/slynux/ .mozilla 

43284 /home/slynux/ .mozilla/firefox 

43276 /home/slynux/ .mozilla/firefox/8c22khxc.default 


这 个 单行 脚本 的 缺点 之 一 在 于 它 的 结果 中 还 包含 了 目录 。 我 们 可 以 使 用 fina 命 令 改 进 脚本 ， 使 
其 只 输出 最 大 的 文件 : 


$ find . -type f -exec du -k {} \; | sort -nrk 1 | head 
利用 finq 替 au 将 文件 过 滤 出 来 ， 这 样 就 无 需 使 用 au 遍历 文件 系统 了 。 


注意 ,du 命令 会 输出 文件 的 字 节 数 。 这 个 数字 未 必 和 文 件 所 占 的 磁盘 空间 一 样 。 磁 盘 空间 是 
以 块 为 单位 分 配 的 , 因此 就 算是 1 字 节 的 文件 也 会 耗费 一 个 磁盘 块 , 块 大 小 通常 在 512 到 4096 字 节 
之 间 。 


下 一 节 将 会 讲解 使 用 af 命令 确定 可 用 的 磁盘 空间 。 
6. 磁盘 可 用 空间 信息 


eu 提供 磁盘 使 用 情况 信息 ， 而 af 提供 磁盘 可 用 空间 信息 。af 的 -h 选 项 会 以 易 读 的 格式 输出 
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盘 空间 信息 。 例 如 : 


$ df -h 

Filesystem Size Used Avail Use% Mounted on 
/dev/sdal 9.2G 2.2G 6.6G 25% / 

none 497M 240K 497M 1% /dev 

none 502M 168K 501M 1% /dev/shm 
none 502M 88K 501M 1% /var/run 
none 502M 0 502M 0% /var/lock 
none 502M 0 502M 0% /lib/init/rw 
none 9.2G 2.2G 6.6G 25% 


/var/lib/ureadahead/debugfs 


f 命 令 也 可 以 使 用 目录 作为 参数 。 在 这 种 情况 下 , 会 输出 该 目录 所 在 分 区 的 可 用 磁盘 空间 情 
况 。 Nt 不 知道 目录 所 在 分 区 的 话 ， 这 种 方法 就 很 有 用 了 : 
$ df -h /home/user 


Filesystem Size Used Avail Use% Mounted on 
/dev/mdl 917G 739G 133G 85% /raidl 








9.3 计算 命令 执行 时 间 
在 分 析 应 用 程序 的 效率 或 比较 不 同 的 算法 时 ， 其 执行 时 间 非 常 重要 。 











9.3.1 ”实战 演练 
(1) time 命 令 可 以 测量 出 应 用 程序 的 执行 时 间 : 


$ time APPLICATION 


time 命 令 会 执行 APPLICATION。 当 APPLICATION 执 行 完毕 后 , time 命 令 将 其 real 时 间 、 
sys 时 间 以 及 user 时 间 输 出 到 stgqerr 中 ， 将 APPLICATION 的 正常 输出 发 送 到 stqdout。 
$ time 1s 

test .txt 

next .txt 

real om0 .008s 


user 0m0.001s 
sys 0m0 .003s 


time 命 令 的 可 执行 二 进 制 文件 位 于 /usr/bin/time， 另 外 还 有 一 个 bash shell 
的 内 建 命令 也 叫 作 time。 当 执行 Lime 时 ， 上 默认 调 用 的 是 shell 的 内 建 命 令 。 内 
建 的 time 命 令 选项 有 限 。 如 果 需 要 使 用 额外 的 功能 ， 应 该 使 用 可 执行 文件 time 
的 绝对 路 径 ( /usr/bin/time )。 


(2) 选项 -o 可 以 将 相关 的 时 间 统 计 信息 写 入 文件 : 


$ /usr/bin/time -o output.txt COMMAND 
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(3) 


(4) 


文件 名 应 该 出 现在 选项 -o 之 后 。 

选项 -a 可 以 配合 -o 使 用 ,将 命令 执行 时 间 追 加 到 原文 件 的 末尾 : 

$ /usr/bin/time -a -o output.txt COMMAND 

选项 -f 可 以 指定 输出 哪些 统计 信息 及 其 格式 。 格式 字符 串 包括 一 个 或 多 个 以 % 为 前 级 的 
参数 。 格 式 参 数 包括 以 下 几 种 。 

口 real 时 间 : % 
口 user 时 间 : sU 
口 sys 时 间 : %S 
口 系统 分 页 大 小 : %z 

通过 结合 格式 参数 以 及 其 他 文本 ， 我 们 就 可 以 创建 格式 化 输出 : 
$ /usr/bin/time -f "FORMAT STRING" COMMAND 


例如 : 





Se 








$ /usr/bin/time -f "Time: %U" -a -o timing.log uname 
Linux 


其 中 ，sU 指 定 了 user 时 间 。 


time 命 令 将 被 计时 的 应 用 程序 的 输出 发 送 到 stdout ， 将 自身 的 输出 发 送 到 stdqerr。 我 
们 可 以 用 重 定向 操作 符 〈> ) 重 定向 应 用 程序 输出 ， 用 错误 重 定向 操作 符 〈2> ) 重 定向 


time 命 令 的 输出 。 











例如 : 


$ /usr/bin/time -f "Time: %U" uname> command output.txt 
2>time.log 
$ cat 七 ime .1og 


Time: 0.00 

$ cat command_outPput .七 Xt 

Linux 

格式 参数 也 可 以 报告 内 存 使 用 情况 。 人 参数 sM 会 显示 所 使 用 的 最 大 内 存 (以 KB 为 单位 )， 


参数 $2 会 显示 系统 页 面 大 小 : 


$ /usr/bin/time -f "Max: %M K\nPage size: %Z bytes" \ 
ls> 

/dev/null 

Max: 996 K 

Page size: 4096 bytes 


这 里 并 不 需要 被 计时 的 命令 (1s ) 的 输出 ， 因 此 将 标准 输出 重 定 向 到 了 /dev/null。 
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9.3.2 ”工作 原理 


time 命 令 默认 报告 3 类 时 








间 。 


口 Real: 指 的 是 壁 钟 时 间 〈wall clock time )， 也 就 是 命令 从 开始 执行 到 结束 的 时 间 。 这 段 时 





间 包 括 其 他 进程 所 占用 的 时 间 片 (time slice ) 以 及 进程 被 阻塞 时 所 消耗 的 时 间 (例如 , 为 
等 待 O 操 作 完成 所 用 的 时 间 )。 















































口 User: 是 指 进程 花费 在 用 户 模式 〈 内 核 模式 之 外 ) 中 的 CPU 时 间 。 这 是 执行 进程 所 花费 
的 时 间 。 执 行 其 他 进程 以 及 花费 在 阻塞 状态 中 的 时 间 并 没有 计算 在 内 。 
口 Sys: 是 指 进程 花费 在 内 核 中 的 CPU 时 间 。 它 代表 在 内 核 中 执行 系统 调用 所 使 用 的 时 间 ， 





这 和 库 代 码 (library code ) 不 同 ， 后 者 仍旧 运行 在 用 户 空间 。 与 “user 时 间 ” 类 似 ， 这 也 




















和 系统 调用 机 制 。 


真正 由 进程 使 用 的 CPU 时 间 。 参 考 表 9-1,， 其 中 简要 描述 了 内 核 模式 ( 也 称 为 监督 模式 ) 


time 命 令 给 出 了 进程 的 很 多 细节 信息 。 其 中 包括 退出 状态 、 接 收 到 的 信号 数量 以 及 进程 上 
下 文 的 切换 次 数 等 。 这 些 信息 都 可 以 通过 给 选项 -f 提 供 相 应 的 格式 化 字符 串 来 显示 。 


表 9-1 展 示 了 一 些 值得 注意 的 参数 。 


Ba 
洋 























表 9-1 


避 
际 





Se 被 计时 的 命令 名 称 以 及 命令 行 参 数 














$9 进程 非 共享 数据 区 的 平均 大 小 ， 以 KB 为 单位 
SE 进程 使 用 的 real 时 间 ( 壁 钟 时 间 ) ， 显 示 格 式 为 [小 时 :] 分 钟 : 秒 
































%x 命令 的 退出 状态 








sk 进程 接收 到 的 信号 数量 
2 进程 被 交换 出 主 存 的 次 数 






























































$2 以 字 节 为 单位 系统 的 页 面 大 小 。 这 是 一 个 系统 常量 ， 但 在 不 同 的 系统 中 ， 这 个 常量 值 也 不 同 
SP 进程 所 获得 的 CPU 时 间 百 分 比 。 这 个 值 等 于 user + system 时 间 除 以 总 运行 时 间 。 结 果 以 百分比 形式 显示 











SK 进程 的 平均 总 内 存 使 用 量 ( data+stack+text ) ， 以 KB 为 单位 




















Sw 进程 主动 进行 上 下 文 切换 的 次 数 ， 例 如 等 待 O 操 作 完 成 
进程 被 迫 进行 上 下 文 切换 的 次 数 ( 由 于 时 间 片 到 期 ) 
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启动 日 志 及 启动 故障 的 相关 信息 





Linux 包 含 了 一 些 能 够 报告 运行 系统 各 方面 信息 的 命令 ,其 中 包括 当前 登录 用 户 、 主 机 加 电 
时 间 以 及 启动 故障 。 这 些 数据 可 用 于 分 配 系统 资源 和 故障 诊断 。 
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9.4.1 预备 知识 


这 则 攻略 将 介绍 以 下 命令 : who、 w、 users、uptime、last 和 lastb。 


9.4.2 ”实战 演练 
(1) who 命 令 可 以 获取 当前 登录 用 户 的 相关 信息 : 
$ who 


slynux pts/0 2010-09-29 05:24 (slynuxs-macbook-pro.1local) 
slynux tty7 2010-09-29 07:08 (:0) 








该 命令 会 显示 出 登录 名 、 用 户 所 使 用 的 TTY、 登 录 时 间 以 及 登录 用 户 的 远程 主机 名 (或 


者 X 显 示 信 息 )。 





TTY ( 该 术语 取 自 TeleTYperwriter ) 是 与 文本 终端 相关 联 的 设备 文件 。 当 用 
各 户 生成 一 个 新 终端 时 ， 对 应 的 设备 文件 就 会 出 现在 /dev 中 (例如 /dev/pts/3 )。 可 


以 通过 执行 命令 tty 来 获得 当前 终端 的 设备 路 径 。 


(2) w 命 令 可 以 获得 有 关 登 录用 户 更 详细 的 信息 : 





S$w 
07:09:05 up 1:45, 2 users, load average: 0.12, 0.06, 0.02 
USER TY FROM LOGIN@ IDLE JCPU PCPU WHAT 


slynux pts/0 slynuxs 05:24 0.00s 0.65s 0.11s sshd: slynux 


slynux tty7 :0 07:08 1:45m 3.28s 0.26s bash 








第 一 行列 出 了 当前 时 间 、 系 统 运行 时 间 、 当 前 登录 的 用 户 数量 以 及 过 去 的 1/5/15 分 钟 内 的 





系统 平均 负载 。 接 下 来 在 每 一 行 中 显示 了 每 个 登录 会 话 的 详细 信息 ， 其 中 包括 登录 名 、 
TITY、 远 程 主机 、 登 录 时 间 、 空 闲 时 间 、 该 用 户 登 录 后 所 使 用 的 总 CPU 时 间 、 当 前 运行 
进程 所 使 用 的 CPU 时 间 以 及 进程 所 对 应 的 命令 行 。 








uptime 命 令 输出 中 的 平均 负载 (load average ) 是 表明 系统 负载 量 的 一 个 参 
数 。 在 第 10 章 我 们 会 对 此 进行 详细 地 解释 。 


(3) users 命 令 只 列 出 当前 的 登录 用 户 列表 : 


$ users 
slynux slynux slynux hacker 


如 果 某 个 用 户 有 多 个 登录 会 话 ， 不 管 是 远程 登录 还 是 打开 了 多 个 终端 窗口 ， 那 么 该 用 户 
会 被 多 次 显示 。 在 上 面 的 输出 中 ,用户 slynux 打 开 了 3 个 终端 会 话 。 排 除 重 复 用 户 的 最 
简单 的 方法 是 使 用 sort 和 unia 进 行 过 滤 : 


$ users | tr ' ' '\n' | sort | uniq 
slynux 
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hacker 


利用 tr 将 ' ' 替 换 成 '\n'， 然 后 用 sort 和 unia 为 每 个 用 户 生 成 唯一 的 输出 。 
(4) uptime 命 令 可 以 查看 系统 的 加 电 运 行 时 长 : 

















$ uptime 
21:44:33 up 6 days, 11:53, 8 users, load average: 0.09, 0.14, 
0.09 


单词 up 之 后 的 时 间 表 明了 系统 已 经 加 电 运 行 了 多 久 。 我 们 可 以 编写 一 个 简单 的 单行 脚本 
来 提取 运行 时 间 : 

$ uptime | sed 's/.*up \(.*\),.*users.*/\1/' 

sed 使 用 单词 up 与 第 二 个 逗号 (单词 users 之 前 ) 之 间 的 内 容 替 换 掉 整 行文 本 。 


(5) 1ast 命 令 可 以 获取 自 文件 /vavlog/wtmp 创 建 之 后 登录 过 系统 的 用 户 列表 。 这 可 能 会 追溯 
到 一 年 之 前 (甚至 更 久 ): 


$ last 

akul pts/3 10.2.1.3 Tue May 16 08:23 - 16:14 (07:51) 
cfly pts/0 cflynt.com Tue May 16 07:49 still logged in 
dgpx pts/0 10.0.0.5 Tue May 16 06:19 - 06:27 (00:07) 
stvl pts/0 10.2.1.4 Mon May 15 18:38 - 19:07 (00:29) 


last 命 令 会 输出 登录 用 户 、 用 户 所 使 用 的 tty、 登 录 位 置 ( IP 地址 或 本 地 终端 )、 登 录 时 
间 、 登 出 时 间 、 会 话 时 长 。 伪 用 户 名 reboot 表 示 系 统 重 启 。 


(6) 1ast 命 令 也 可 以 获取 指定 用 户 信 息 : 
$ last USER 


(7) 上 述 命令 中 的 USER 可 以 是 系统 真实 用 户 ， 也 可 以 是 伪 用 户 reboot: 



























































$ last reboot 

reboot system boot 2.6.32-21-generi Tue Sep 28 18:10 - 21:48 
(03:37) 

reboot System boot 2.6.32-21-generi Tue Sep 28 05:14 - 21:48 
(16:33) 


(8) lastb 命 令 可 以 获取 失败 的 用 户 登录 会 话 信息 : 


# lastb 
test tty8 i Wed Dec 15 03:56 - 03:56 
(00:00) 
slynux tty8 :0 Wed Dec 15 03:55 - 03:55 
(00:00) 


你 必须 以 root 用 户 的 身份 运行 1astb。 
last 和 1lastpb 输 出 的 都 是 文件 /var/log/wtmp 的 内 容 。 默 认输 出 事件 发 生 的 月 份 、 天 数 和 
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时 间 。 但 是 该 文件 中 可 能 包含 了 长 达 数 年 的 数据 ， 只 使 用 “月 份 /天 数 ” 这 种 格式 会 造成 


混淆 。 

选项 -F 可 以 输出 完整 的 日 期 : 

# lastb -F 

hacker tty0 二 2535 到 Sat Jan 7 11:50:53 2017 - 


Sat Jan 7 11:50:53 2017 (00:00) 


9.5 列 出 1 小 时 内 占用 CPU 最 多 的 10 个 进程 


CPU 是 另 一 种 会 被 失常 进程 (misbehaving process ) 耗 尽 的 资源 。Linux 支 持 一 些 能 够 识别 并 
对 长 期 占用 CPU 的 进程 施加 控制 的 命令 。 




















9.5.1 预备 知识 


ps 命令 能 够 显示 出 系统 中 进程 的 详细 信息 。 这 些 信息 包括 CPU 使 用 情况 、 所 执行 的 命令 、 内 
存 占用 、 进 程 状态 等 。 可 以 在 脚本 中 使 用 ps 命令 识别 出 在 一 小 时 内 占用 CPU 最 多 的 进程 。 关于 ps 
命令 的 更 多 细节 ， 请 参考 第 10 章 。 














9.5.2 ”实战 演练 
让 我 们 看 看 用 于 监视 并 计算 一 小 时 内 CPU 使 用 情况 的 shell 脚 本 : 


#!/bin/bash 
# 文 件 名 : pcpu_usage .sh 
# 用 途 : 计 算 1 个 小 时 内 进程 的 CPU 占 用 情况 


# 将 SECS 更 改 成 需要 进行 监视 的 总 秒 数 
#UNIT_TIME 是 取样 的 时 间 间 隔 ， 单 位 是 秒 


SECS=3600 
UNIT TIME=60 


STEPS=$(( $SECS / S$UNIT TIME )) 
echo Watching CPU usage... }; 
# 采 集 数 据 ， 存 入 临时 文件 
for((i=0;i<STEPS;i++)) 
do 
ps -eocomm,pcpu | egrep -Vv '(0.0)|(%CPU)' >> /tmp/cpu usage.$s$ 


sleep S$UNIT TIME 
done 
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# 处 理 采 集 到 的 数据 
echo 
echo CPU eaters : 


cat /tmp/cpu usage.$$ | \ 
awk ' 
{ process[$1]+=$2; } 
ENDI{ 
for(i in process) 
{ 
printf("%-20s %s\n",i, process[i]l]) ， 
} 


}' | sort -nrk 2 | head 


# 删 除 临时 日 志文 件 
rm /tmp/cpu usage.$s$ 


输出 如 下 : 


$ ./pcpu usage.sh 
Watching CPU usage... 
CPU eaters : 
Xorg 20 
firefox-bin 15 
bash 3 
evince 2 
pulseaudio Ts 
pcpu.sh 
wpa_supplicant 
wnck-applet 
watchdog/0 
usb-storage 


DoDDDD 


9.5.3 工作 原理 


CPU 的 使 用 情况 是 由 第 一 个 循环 负责 生成 的 , 该 循环 的 执行 时 长 为 1 小 时 (3600 秒 ), 每 隔 1 分 钟 ， 
命令 ps -eocomm,pcpu 就 会 产生 一 份 系统 活动 报告 。 选 项 -e 指 定 采 集 所 有 进程 的 数据 ， 而 不 仅 限 
于 本 次 会 话 的 进程 。 选 项 -o 指 定 了 输出 格式 。 其 中 ，comm 指 定 输出 命令 名 ，pcpu 指 定 输出 CPU 
占用 率 。ps 命 令 为 每 个 进程 输出 一 行 , 其 中 包含 命令 名 及 进程 当时 的 CPU 占用 率 。 然 后 使 用 grep 
过 滤 这 些 行 ， 删 除 未 占用 CPU 的 行 (scPU 为 0.0 ) 以 及 头 部 信息 coMMAND scPU。 处 理 后 的 结果 
被 追加 到 临时 文件 中 。 


临时 文件 名 为 /tmp/cpu_usage.$$。 其 中 ,$s 是 一 个 shell 变 量 , 值 为 当前 脚本 的 进程 ID (PID )。 
如 果 脚 本 的 PID 是 1345 ， 那 么 临时 文件 名 就 是 /tmp/cpu_usage.1345。 


统计 文件 在 1 小 时 后 就 准备 妥当 了 ， 文件 中 包含 了 60 项 ,分别 对 应 每 分 钟 的 系统 状态 。awk 
计算 出 每 个 进程 总 的 CPU 使 用 情况 并 将 其 存 人 一 个 关联 数组 。 该 数组 以 进程 名 作为 索引 。 最 后 根 























Gy 
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据 总 的 CPU 使 用 情况 依 数值 执行 逆序 排序 并 利用 heaad 获 得 前 10 项 。 





9.5.4 参考 


口 4.6 节 讲解 了 awk 命令 。 
口 3.13 节 讲解 了 tail 命 令 。 





9.6 ”使 用 watch 监视 命令 输出 


watch 命 令 会 按照 指定 的 间隔 时 间 来 执行 命令 并 显示 其 输出 。 你 可 以 使 用 终端 会 话 和 第 10 章 
中 描述 的 screen 命 令 创 建 一 个 自 定义 的 控制 面板 ( dashboard ), 利用 watch 监 视 系 统 的 运行 情况 。 











9.6.1 实战 演练 
watch 命 令 可 以 在 终端 中 定时 监视 命令 的 输出 。 其 语法 如 下 : 
$ watch COMMAND 
例如 : 
$ watch 1s 
或 者 
$ watch 'df /home' 
考虑 下 面 的 例子 : 


# 只 列 出 目录 
$ watch '1s -1 | grep "^d"' 


命令 默认 每 2 秒 更 新 一 次 输出 。 
我 们 可 以 用 -n sEcoNDS 指 定 更 新 输出 的 时 间 间 隔 。 例 如 : 


# 以 5 秒 为 间隔 ， 监 视 l1s -1 的 输出 
$ watch -n 5 'ls -1' 











9.6.2 补充 内 容 


watch 命 令 可 以 与 其 他 能 够 产生 输出 的 命令 配合 使 用 。 有 些 命令 的 输出 会 频繁 发 生变 化 ， 这 
些 变 化 要 比 整 个 输出 内 容 更 为 重要 。watch 命 令 能 够 着 重 标记 出 连续 输 中 之 间 的 差异 。 注意 ， 这 
种 标记 只 会 持续 到 下 次 更 新 。 
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着 重 标记 watch 输 出 中 的 差异 
选项 -ad 能够 着 重 标记 出 连续 的 命令 输出 之 间 的 差异 : 
$ watch -d 'COMMANDS' 
# 以 30 秒 为 间隔 ， 着 重 标 记 出 新 的 网 络 连接 
$ watch -n 30 -d 'ss | grep ESTAB' 
9.7 ”记录 文件 及 目录 访问 情况 


出 于 各 种 原因 ,我 们 需要 清楚 文件 何 时 被 访问 。 可 能 是 出 于 备份 的 需要 ,也 可 能 是 因为 想 知 
道 /bin 中 的 文件 是 否 被 骇 客 修改 过 。 











9.7.1 预备 知识 


inotifywait 命 令 会 监视 文件 或 目录 并 报告 何 时 发 生 了 某 种 事件 。Linux 发 行 版 默认 并 没有 
包含 该 命令 , 你 得 用 软件 包 管 理 器 自行 安装 inotify-tools。 这 个 命令 还 需要 Linux 内 核 的 支持 。 
目前 大 多 数 新 的 GNU/Linux 发 行 版 已 经 将 inotify 文 持 编 译 进 了 内 核 。 








9.7.2 ”实战 演练 
inotifywait 命 令 可 以 用 来 监视 目录 : 


#/bin/bash 

# 文 件 名 : watchdir.sh 

# 用 途 : 监 视 目录 访问 

path=$1 

# 将 目录 或 文件 路 径 作 为 脚本 参数 





inotifywait -m -r -e create movey delete $path -qa 
输出 样 例如 下 : 


$ ./watchdir.sh . 
./ CREATE new 

./ MOVED FROM new 
/ MOVED_TO news 
/ DELETE news 


9.7.3 工作 原理 


上 面 的 脚本 能 够 记录 指定 路 径 中 的 创建 、 移 动 以 及 删除 事件 。 选项 -m 表 示 持 续 监 视 变化 ， 而 
不 是 在 事件 发 生 之 后 退出 。 选 项 -r 允 许 采 用 递归 形式 监视 目录 ( 忽略 符号 链接 )。 选 项 -e 指 定 需 
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要 监视 的 事件 列表 。 选项 -gq 用 于 减少 元 余 信息 ,只 打印 出 所 需要 的 信息 。 命令 输出 可 以 被 
到 日 志文 件 。 


inotifywait 能 够 监视 的 事件 见 表 9-2。 




















表 9-2 
事 件 描述 
access 读 取 文 件 
modify 文件 内 容 被 修改 
attrib 文件 元 数据 被 修改 
move 文件 移动 操作 
create 创建 新 文件 
open 文件 打开 操作 
close 文件 关闭 操作 
delete 文件 被 删除 




















9.8 使 用 syslog 记录 日 志 


与 守护 进程 和 系统 进程 相关 的 日 志文 件 位 于 /varlog 目 录 中 。 在 Linux 系 统 中 ， 由 守护 进程 
sylogd 使 用 syslog 标 准 协 议 处 理 日 志 。 每 一 个 标准 应 用 程序 都 可 以 利用 syslogd 记 录 日 志 。 在 这 
则 攻略 中 ， 我 们 将 讨论 如 何在 脚本 中 用 sys1loga 进 行 日 志 记 录 。 








9.8.1 ”预备 知识 


日 志文 件 有 助 于 我 们 推断 系统 出 现 了 什么 故障 。 作为 一 种 良好 的 实践 , 应 当 使 用 日 志文 件 记 
录 程 序 的 执行 过 程 。1ogger 命 令 可 以 通过 syslogd 记 录 日 志 。 


表 9-3 是 一 些 标 准 的 Linux 日 志文 件 。 有 些 发 行 版 采用 了 不 同 的 文件 名 。 





































































































表 9-3 

日 志文 件 描 述 
/var/log/boot.1log 系统 启动 信息 
/var/log/httpd Apache Web 服 务 器 日 志 
/var/log/messages 内 核 启动 信息 
/var/log/auth.1log 户 认 证 日 志 
/var/log/secure 
/var/log/dmesg 系统 启动 信息 
/var/log/mail.1log B 件 服务 器 日 志 
/var/log/maillog 
/var/log/Xorg.0.1og X 服 务 右 日 志 
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9.8.2 


实战 演练 


在 脚本 中 可 以 使 用 1ogger 命 令 创 建 及 管理 日 志 。 


(1) 


(2) 选 


G) 选 


9.8.3 





向 日 志文 件 /var/log/messages 中 写 人 信息 : 
$ logger LOG MESSAGE 

例如 : 

$ logger This is a test log line 


$ tail -n 1 /var/log/messages 
Sep 29 07:47:44 slynux-laptop slynux: This is a test log line 


/varlog/messages 是 一 个 通用 日 志文 件 。 如 果 使 用 logger 命 令 ， 它 默认 将 日 志 写 
/varlog/messages 中 。 


先 项 -可 以 定义 消息 标签 : 
$ logger -t TAG This is a message 


$ tail -n 1 /var/log/messages 
Sep 29 07:48:42 slynux-laptop TAG: This is a message 


选项 -p 和 /etc/rsyslog.d/ 目 录 下 的 配置 文件 决定 了 日 志 消 息 保 存 到 何 处 。 
如 果 需 要 保存 到 指定 的 文件 中 ， 请 按照 以 下 步骤 操作 : 


口 在 /etc/rsyslog.d/ 下 创建 一 个 新 的 配置 文件 ; 
口 在 配置 文件 中 添加 模式 并 指定 日 志文 件 ; 
口 重启 日 志 守 护 进程 ( syslogd )。 


考虑 下 面 的 例子 : 


# cat /etc/rsyslog.d/myConfig 

local7.* /var/log/local7 

# cd /etc/init.d 

# ./syslogd restart 

# logger -p local7.info # 一 行 日 志 被 写 入 /var/log/local7 


先 项 -f 可 以 将 其 他 文件 的 内 容 记 录 到 系统 日 志 





IO 

















$ logger -f /var/log/source.log 


参考 














3.13 节 讲解 了 nead 和 tail 命 令 。 
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9.9 使 用 logrotate 管理 日 志文 件 


日 志文 件 能 够 跟踪 系统 内 出 现 的 各 种 事件 。 这 对 于 排查 问题 以 及 监视 活动 主机 是 必 不 可 少 
的 。 随 着 时 间 的 推移 ， 日 志文 件 会 变 得 越 来 越 大 ， 记 录 的 事件 也 会 越 来 越 多 。 旧 数据 相对 而 言 并 
没有 新 数据 那么 重要 ， 当 日 志文 件 达 到 一 定 大 小 的 时 候 ， 可 以 将 其 重 命名 ， 然 后 删除 最 昌 的 那 一 
部 分 。 




















9.9.1 预备 知识 


logrotate 能 够 限制 日 志文 件 的 大 小 。 系 统 的 日 志 记 录 程 序 将 信息 添加 到 日 志文 件 的 同时 并 
不 会 删除 先前 的 数据 。 日 志文 件 因 此 会 变 得 越 来 越 大 。1logrotate 命 令 根 据 配置 文件 扫描 特定 
的 日 志文 件 。 它 只 保留 文件 中 最 近 添 加 的 100KB 内 容 (假设 指定 了 sIzE=100k)， 将 多 出 的 数据 
( 旧 的 日 志 数 据 ) 不 断 移 人 新 文件 logfile name.1。 当 该 文件 (logfile_ name.1 ) 中 的 内 容 超 出 了 SIZE 
的 限定 ，logrotate 会 将 其 重 命名 为 logfile name.2 并 再 创建 一 个 新 的 logfile name.1"”。 
logrotate 命 令 还 会 将 旧 的 日 志文 件 压缩 成 logfile name.1.gz、logfile name.2.gz， 以 此 类 推 。 






































9.9.2 ”实战 演练 


logrotate 的 配置 文件 位 于 /etc/logrotate.d/。 大 多 数 Linux 发 行 版 在 该 目录 下 还 放置 了 很 多 其 
他 文件 。 








我 们 可 以 为 自己 的 日 志文 件 (比如 /var/log/program.log ) 编写 一 个 自 定义 的 配置 ， 


$ cat /etc/logrotate.d/program 
/var/log/program.l1og { 
missingok 
notifempty 
size 30k 
compress 
weekly 
rotate. 5S 
create 0600 root root 


} 

















这 就 是 全 部 的 配置 。 其 中 ，/var/log/program.log 指 定 了 日 志文 件 路 径 。1logrotate 会 将 旧 日 志 
件 的 归档 也 放 入 同一 个 目录 中 。 


9.9.3 工作 原理 


logrotate 命 令 支持 的 配置 项 见 表 9-4。 








Qa 这 种 方法 叫 作 轮 替 (rotation )。 
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表 9-4 
人 参 数 描 述 
missingok 如 果 日 志文 件 丢 失 ， 则 忽略 并 返回 〈 不 对 日 志文 件 进行 轮 替 ) 
notifempty 仅 当 源 日 志文 件 非 空 时 才 对 其 进行 轮 蔡 
size 30k 限制 执行 轮 蔡 的 日 志文 件 的 大 小 。 可 以 用 1M 表 示 1MB 
compress 允许 用 gzip 压 缩 旧 日 志文 件 
weekly 指定 执行 轮 奉 的 时 间 间 隔 。 可 以 是 weekly 、monthly、yearly 或 aaily 
rotate 5 需要 保留 的 旧 日 志文 件 的 归档 数量 。 在 这 里 指定 的 是 5， 所 以 这 些 文件 名 将 会 是 
program.log.1.gz、 program.log.2.gz ... program.log.5.gz 
create 0600 root root 站 定 所 要 创建 的 归档 文件 的 权限 、 用 户 以 及 用 户 组 























上 表 中 给 出 了 一 些 选项 示例 。 更 多 的 可 用 选项 请 参考 logrotate 的 手册 页 (http://linux.die. 
net/man/ 8/logrotate )。 


9.10 ”通过 监视 用 户 登录 找 出 入 侵 者 
日 志文 件 可 以 收集 系统 状态 以 及 攻击 者 的 详细 信息 。 


假设 我 们 有 一 个 能 够 通过 SSH 连 接 到 Internet 的 系统 。 很 多 攻击 者 试图 登入 这 个 系统 。 我 们 需 
要 设计 一 个 人 侵 检 测 系统 来 识别 登录 失败 的 那些 用 户 。 出 现 这 种 行为 的 用 户 可 能 是 采用 字典 攻击 
的 骇 客 。 这 样 的 脚本 应 该 生成 包含 以 下 细节 信息 的 报告 : 


口 登录 失败 的 用 户 ; 

口 尝试 登录 的 次 数 ; 

口 攻击 者 的 卫 地 址 ; 

口 IP 地 址 所 对 应 的 主机 名 ; 
口 登录 行为 发 生 的 时 间 。 























9.10.1 预备 知识 


我 们 可 以 编写 一 个 shell 脚 本 ， 对 日 志文 件 进行 扫描 并 从 中 采集 所 需要 的 信息 。 登 录 细 节 都 记 
录 在 /var/log/auth.log 或 /var/log/secure 中 。 脚 本 从 日 志文 件 中 找 出 失败 的 登录 记录 并 进行 分 析 。 
host 命 令 可 以 用 来 将 了 下地 址 映射 为 主机 名 。 




















9.10.2 ”实战 演练 
入 侵 检测 脚本 如 下 : 
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#!/bin/bash 
# 文 件 名 :intruder_detect.sh 


# 用 途 : 入 侵 报告 工具 ， 以 auth .1og 作 为 输入 
AUTHLOG=/var/log/auth.1log 


if [[ -n $1 ]]， 
then 

AUTHLOG=$1 

echo Using Log file : $AUTHLOG 
£1i 


# 采集 失败 的 登录 记录 


LOG=/tmp/failed.$$.10g 
grep -Vv "Failed pass" $AUTHLOG > $LOG 


# 提取 登录 失败 的 用 户 名 
users=$(cat $LOG | awk '{ print $(NF-5) }' | sort | unid) 


# 提取 登录 失败 用 户 的 TP 地址 
ip_list="$(egrep -o "[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+" $LOG | sort | uniq)" 


printf "%-10s|%-3s|%-16s|%-33s|l%s\n" "User" "Attempts" "IP address" \ 
"Host" "Time range" 


# 遍历 登录 失败 的 IP 地 址 和 用 户 


for ip in $ip list; 


do 
for user in $users; 
do 
# 统计 来 自 该 IP 的 用 户 尝 试 登录 的 次 数 
attempts= grep $ip S$LOG | grep " $user " | wc -1 
if [ $attempts -ne 0 ] 
then 
first time=‘grep $ip $LOG | grep " $user " | head -1 | cut -c-16. 
time="$first time" 
if [ $attempts -gt 1 ] 
then 
last time= grep $ip $LOG | grep " $user " | tail -1 | cut -c-16° 
time="$first time -> $last time" 
£1i 
HOST=$ (host S$ip 8.8.8.8 | tail -1 | awk '{ print SNE }' ) 
printf "%-10s|%-3s|%-16s|%-33s|%-s\n" "$user" "$attempts" "$ip"\ 
"$HOST" "$time"; 
£1i 
done 
done 
rm $LOG 





输出 结果 如 下 : 


Using Log file : secure 
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User |Attempts|IP address1Host ITime range 
pi I1 110.251.90.93 13(NXDOMAIN) |lJan 2 03:50:24 
root |1 110.56.180.82 12(SERVFAIL) |Dec 26 04:31:29 


root |6 |110.80.142.25 lexample.com |Dec 19 07:46:49 -> Dec 19 07:47:38 


9.10.3 ”工作 原理 


脚本 intruder_detect .sh 默认 使 用 /varvlog/auth.log 作 为 输入 。 另 外 也 可 以 用 命令 行 参数 来 
提供 指定 的 日 志文 件 。 失 败 的 登录 记录 被 收集 并 存 人 临时 文件 中 ， 以 减少 处 理 量 。 


如 果 登 录 失 败 ，SSH 会 记录 类 似 于 下 面 的 日 志 信息 : 
sshd[21197]: Failed password for bobl from 10.83.248.32 port 50035 
脚本 会 利用 grep 命 令 找 出 含有 字符 串 Failedq passw 的 行 ， 然 后 将 其 放 入 /tmp/failed.$$.log 中 。 


下 一 步 是 提取 出 登录 失败 的 用 户 。awk 命 令 提取 出 倒数 第 5 个 字段 ( 用户 名 )， 通过 管道 将 其 
传 给 sort 和 uniq， 生 成 一 个 用 户 列表 。 


接 下 来 ,利用 正则 表达 式 和 egrep 命 令 提取 出 不 重复 的 IP 地 址 。 


馆 套 的 for 循 环 对 所 有 的 IP 地 址 及 用 户 名 进行 迭代 ， 提 取出 每 个 IP 地 址 与 用 户 名 的 组 合 。 如 
果 某 个 IP/User ( IP/ 用 户 名 ) 组 合 尝试 登录 的 次 数 大 于 0, 使 用 grep、head 和 cut 命 令 提取 出 第 一 
次 登录 的 时 间 。 如 果 尝 试 登录 的 次 数 大 于 1， 则 使 用 tail 提 取出 最 后 一 次 登录 的 时 间 。 


尝试 登录 的 详细 信息 通过 printf 命 令 进行 格式 化 并 输出 。 


最 后 ， 删 除 用 到 的 临时 文件 。 









































9.11 监视 远程 磁盘 的 健康 情况 
磁盘 总 有 一 天 会 被 塞 满 。 哪 人 是 采用 了 RAID 的 存储 系统 ， 如 果 你 不 在 其 他 磁盘 出 现 故 障 之 
前 替换 掉 有 问题 的 部 分 ， 系 统 照 样 会 出 问题 。 监 视 存 储 系统 的 健康 情况 是 管理 员 的 工作 之 一 。 


如 果 有 一 个 自动 化 脚本 能 够 检查 网 络 上 的 设备 并 生成 一 行 报告 ,其 中 包括 日 期 、 主 机 IP 地 址 、 
设备 、 设 备 容量 、 占 用 空间 、 剩 余 空 间 、 使 用 比例 以 及 健康 状况 ， 那 工作 可 就 轻松 多 了 。 如 果 磁 盘 
使 用 率 不 足 80%, 设 备 状态 就 为 SAPE。 如 果 磁 盘 空间 即将 用 尽 ,需要 引起 注意 , 则 设备 状态 为 ALERT。 






























































9.11.1 ”预备 知识 


脚本 使 用 SSH 登 录 远 程 系 统 ， 采集 每 台 主机 的 磁盘 使 用 情况 ,然后 写 入 中 央 主 机 的 日 志文 件 
中 。 可 以 将 该 脚本 调度 为 特定 时 间 执 行 。 
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远程 主机 中 必须 有 一 个 公用 账户 ,以 便 脚 本 aisklog 能 够 登 人 系统 采集 数据 。 我们 可 以 为 该 
账户 配置 SSH 自 动 登 录 ( 8.10 节 讲解 了 SSH 自 动 登录 的 方法 )。 











9.11.2 ”实战 演练 
下 面 是 实现 代码 : 


#!/bin/bash 
# 文 件 名 : disklog.sh 
# 用 途 : 监视 远程 系统 的 磁盘 使 用 情况 





logfile="diskusage.1log" 


二 EE“ 入 :二 净 汪 .时 澡 
then 

logfile=$1 
Eo 


# 使 用 环境 变量 或 是 采用 硬 编码 的 方式 指定 用 户 名 
user=$USER 


# 提 供 远程 主机 的 TIP 地 址 列表 

TP TT=»127. 00 1 ONOmO 0 

# 或 者 在 脚本 运行 时 使 用 nmap 收 集 

#IP_LIST=‘nmap -sn 192.168.1.2-255 | grep scan | grep cut -c22-. 


if [ ! -e $logfile | 
then 
printf "%$-8s g%-14S %$-9s %$-8s %$-6s %$-6s %$-6s Ss\n" \ 
"Date" "IP address" "Device" "Capacity" "Used" "Free" \ 
"Percent" "Status" > $logfile 
下 
( 
for ip in $IP. LIST,; 
do 
ssh suser@s$ip 'df -H' | grep ^/dev/ > /tmp/s$s$.df 


while read line; 
do 
cur_date=$ (date +gD) 
printf "%$-8s %-1l4s " S$cur_date S$ip 
echo $line | \ 
awk '{ printf("%-9s %-8s %$-6s %-6s %$-8s",S$1,S$2,S$3,$4,$5); }' 


pusg=$ (echo s$line | egrep -o "[0-9]+%") 
pusg=$ {pusg/\%/}; 

if [ Spusg:. =1t :80. ] 

then 

echo SAFE 

else 

echo ALERT 
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£i 


done< /tmp/SS .df 
done 


) >> $logfile 


cron 命 令 能 够 定时 调度 脚本 执行 。 例如 , 要 想 在 每 天 上 午 10 点 运行 该 脚本 , 可 以 在 crontab 
中 写 入 以 下 条 目 : 


00 10 * * * /home/path/disklog.sh /home/user/diskusg.log 
执行 命令 crontab -e， 添 加 上 面 一 行 。 
你 也 可 以 手动 执行 脚本 : 


$ ./disklog.sh 





脚本 的 输出 如 下 : 
01/18/17 192.168.1.6 /dev/sdal 106G 53G 49G 52% SAFE 
01/18/17 192.168.1.6 /dev/mal 958G 776G 159G 84% ALERT 


9.11.3 ”工作 原理 


脚本 gisk1log .sh 可 以 接受 以 命令 行 参数 形式 指定 的 日 志文 件 ,否则 就 使 用 默认 的 日 志文 件 。 
-e $logfile 用 来 检查 文件 是 否 存在 。 如 果 不 存 在 ， 则 使 用 头 部 信息 初始 化 日 志文 件 。 远程 主机 
的 耳 地 址 列表 可 以 硬 编码 进 IP_LIST 变 量 中 , 彼此 之 间 以 空格 分 隔 ; 也 可 以 使 用 nmap 命 令 扫 描 网 
络 ， 获 取 可 用 的 节点 。 如 果 选 择 使 用 后 者 ， 需 要 根据 你 所 在 的 网 络 调整 卫 地 址 范围 。 


fo 循环 用 来 迭代 每 个 了 地址。 通过 ssh 在 每 个 远程 主机 上 执行 命令 af -H 来 获取 磁盘 使 用 情 
况 。df 的 输出 被 保存 在 临时 文件 中 。while 循 环 逐 行 读 取 该 文件 并 调用 awk 提取 、 打 印 相关 数据 。 
egrep 命 令 提 取 磁 盘 使 用 率 并 删除 其 中 的 s。 如 果 这 个 值 不 足 80， 将 这 一 行 标记 为 SAFE; 否则 ， 
标记 为 ALERT。 整 个 输出 必须 被 重 定 向 到 文件 $logfile 中 。 因 此 将 for 循 环 放 和 信子 shel1() 中 ,并 
将 标准 输出 重 定向 到 日 志文 件 。 




































































9.11.4 ”参考 


10.8 节 讲解 了 crontapb 命 令 。 


9.12 ”确定 系统 中 用 户 的 活跃 时 段 
这 则 攻略 利用 系统 日 志 找 出 每 个 用 户 在 服务 器 上 停留 了 多 久 ， 并 根据 时 间 长 短 对 其 划分 等 





296 第 9 章 明察秋毫 











级 ,最 后 生成 一 份 报告 ,其 中 包括 等 级 、 用 户 名 、 首 次 登录 时 间 、 最 后 登录 时 间 、 登 录 次 数 以 及 


总 使 用 时 长 。 


9.12.1 ”预备 知识 








有 关 用 户 会 话 的 原始 数据 以 二 进 1 





会 话 的 详细 信息 。 通 过 累计 各 用 户 的 会 话 时 长 ， 就 能 得 出 他 们 的 总 使 用 时 间 。 


9.12.2 ”实战 演练 


下 面 这 个 脚本 可 以 找 出 活跃 用 户 并 生成 报告 : 





#!/bin/bash 
# 用 户 名 : active_users.sh 
# 用 途 : 查 找 活跃 用 户 


log=/var/log/wtmp 


1 党 丰 人 和 5 本 ] 光 
then 

log=S$1 
£1i 


9 9 


printf "多 -4S %-10s %$-10s 多 
"Logins" "Usage hours" 


last -f $log | head -n -2 


cat /tmp/ulog.$s$ | 


( 

while read user; 

do 
grep ^Suser /tmp/ulog.s$s 
minutes=0 


while read 七 
do 
s=$ (echo SL | awk -FrF: 
Jet minutes=minutes+s 
done< <(cat /tmp/user.ss 


-6s %-8s\n" "Rank" "User" "Start" AN 


> /tmp/ulog.ss 


cut -d' ' -fl | sort | uniq> /tmp/users.s$s 


> /tmp/user.ss 


'{ print ($1 * 60) + $2 }') 


| awk '{ print S$NF }' | tr -d ')(') 


firstlog=$ (tail -n 1 /tmp/user.$$ | awk '{ print $5,$6 }') 


nlogins=$ (cat /tmp/user. 
hours=$ (echo "Sminutes / 


printf "%-10s %-10s %-6s %$-8s\n" 


done< /tmp/users.s$s 


$$ | we =1) 
080.0 | Bey 


制 格式 保存 在 文件 /var/log/wtmp 中 。1ast 命 令 可 以 返回 


Suser "$firstlog" Snlogins S$hours 


2 


民间 


录 
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) | sort -nrk 4 | awk '{ printf("%$-4s %Ss\n", NR, $0) }' 
rm /tmp/users.$s$ /tmp/user.$$ /tmp/ulog.s$s 


输出 如 下 : 

$ ./active users.sh 

Rank User Start Logins Usage hours 
1 easyibaa Dec 11 531 349 
2 demoproj Dec 10 350 230 
3 kjayaram Dec 9 213 55 
4 cinenews Dec 11 85 139 
5 thebenga Dec 10 54 35 
6 gateway2 Dec 11 52 34 
7 soft132 Dec 12 49 25 
8 sarathla Nov 1 45 29 
9 gtsminis Dec 11 41 26 
10 agentcde Dec 13 39 32 


9.12.3 ”工作 原理 


脚本 active_users .sh 接收 以 命令 行 参数 形式 提供 的 日 志文 件 ， 否 则 就 读 取 默认 的 日 志文 
件 /varvlog/wtmp。 命 令 1ast -f 用 来 提取 日 志文 件 的 内 容 。 日 志文 件 的 第 一 列 是 用 户 名 。cut 命 
令 可 以 从 中 提取 第 一 列 ， 然 后 用 sort 和 uniaq 命 令 生 成 一 份 不 重复 的 用 户 列表 。 


脚本 中 的 外 部 循环 用 于 迭代 用 户 。 对 于 每 个 用 户 ， 使 用 grep 命 令 提取 针对 其 的 日 志 行 。 
日 志文 件 中 每 行 的 最 后 一 列 是 登录 会 话 的 时 长 。 内 部 的 while reaqd t 循 环 负责 累加 时 长 。 


会 话 时 长 采用 的 格式 为 (HoOUR:SEC) 。 这 个 值 (最 后 一 个 字段 ) 由 awk 输出 ， 通 过 管道 将 其 
传 给 Er -da， 后 者 负责 删除 两 侧 的 括号 。 六 个 awk 命令 将 字符 串 HH:MM 转 换 成 分 钟 ， 然 后 let 
命令 得 出 总 的 分 钟 数 。 循 环 结束 后 ， 通 过 将 Sminutes 除 以 60， 把 总 分 钟 数 转换 成 小 时 数 。 


用 户 的 首次 登录 时 间 位 于 临时 文件 的 最 后 一 行 。 这 可 以 使 用 Fail 和 awk 来 提取 。 登 录 次 数 就 
是 文件 的 行 数 ， 用 wc 就 能 够 计算 出 来 。 
要 根据 总 的 使 用 时 间 来 为 用 户 排序 ，sort 命 令 的 -nr 选项 指定 按照 数值 逆序 排列 ，-k4 指 定 


排序 列 ( 使 用 时 长 )。 最 后 ，sort 的 输出 被 传 给 awk， 后 者 为 每 一 行 添加 上 行 号 ， 这 个 行 号 就 是 
每 一 位 用 户 的 排名 。 

















































































































9.13 ”电源 使 用 情况 的 测量 与 优化 


对 于 像 笔记 本 电脑 和 平板 电脑 这 类 移动 设备 来 说 ， 电 池 容 量 可 谓 是 重要 资源 。Linux 系 统 提 
供 了 能 够 测量 电源 消耗 的 工具 ，powertop 就 是 其 中 之 一 。 
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9.13.1 ”预备 知识 


在 很 多 Linux 发 行 版 中 都 没有 包含 powertop， 你 得 使 用 包 管理 器 自行 安装 。 


9.13.2 ”实战 演练 





powertop 能 够 测量 每 个 电源 模块 的 消耗 ， 支 持 交 互 式 的 电源 优化 。 

















如 果 不 加 任何 选项 ，powertop 将 直接 在 终端 上 输出 : 


# powertop 





powertop 会 开始 测量 并 显示 出 有 关 电 源 使 用 情况 、 耗 电 最 多 的 进程 等 详细 信息 : 





PowerTOP 2.3 Overview Idle stats Frequency stats Device stats Tunable 
Summary: 1146.1 wakeups/sec, 0.0 GPU ops/secs, 0.0 VFS ops/sec and 73.0% C 
Usage Events/s Category Description 


407.4 ms/s 258.7 Process /usr/lib/vmware/bin/vmware 
64.8 ms/s 313.8 Process /usr/lib64/firefox/firefox 





选项 -html 会 使 得 powertop 测 量 一 段 时 间 ， 然 后 生成 一 份 默 认 名 称 为 PowerTOP.html 的 
HTML 报表 ， 你 可 以 使 用 Web 浏 览 器 来 查看 : 


# powertop --html 








你 可 以 在 交互 模式 中 优化 电源 使 用 。 在 powertop 运 行 时 ， 可 以 使 用 箭头 或 tab 键 切换 到 
Tunables 标 签 。 该 标签 下 包含 了 一 系列 可 由 powertop 调 节 的 属性 ， 以 此 降低 电源 消耗 。 选 中 和 希 
望 调节 的 属性 ， 按 回 车 键 将 属性 值 从 Bad 切 换 到 Good。 




















省 如 果 想 监视 可 移动 设备 的 电池 消耗 情况 ， 需 要 拔 掉 设备 的 充电 器 ， 让 


powertop 对 电池 进行 测量 。 


9.14 ”监视 磁盘 活动 


监视 类 工具 流行 的 命名 方式 以 单词 top ( 一 个 进程 监视 命令 ) 作为 结尾 ， 依 照 这 种 命名 习惯 ， 
磁盘 IO 监视 工具 就 叫 作 iotop。 


9.14.1 ”预备 知识 








在 大 多 数 Linux 发 行 版 中 都 不 包含 iotop , 你 得 使 用 包 管理 器 自行 安装 ,该 命令 要 求 root 权 限 ， 
此 需要 使 用 sudo 或 切换 到 root 用 户 。 
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9.14.2 ”实战 演练 
iotop 可 以 持续 进行 监视 ， 也 可 以 生成 固定 时 间 段 的 监视 报告 。 
(1) 持续 监视 : 
# iotop -oO 
iotop 的 -o 选 项 只 显示 出 那些 正在 进行 WO 活动 的 进程 。 该 选项 有 助 于 减少 输出 干扰 。 


(2) 选项 -n 指 示 iotop 执 行 N 次 后 退出 : 





# iotop -b -n 2 
(3) 选项 -p 可 以 监视 特定 进程 : 





# iotop -p PID 
PID 是 你 想 要 监视 的 进程 。 


在 如 今 大 多 数 的 Linux 发 行 版 中 ， 不 需要 先 查找 PID ， 然 后 再 提供 给 iotop。 
0 你 可 以 使 用 pidof 命 令 将 上 面 的 命令 写作 : 


# iotop -p 'pidof cp' 


9.15 检查 磁盘 及 文件 系统 错误 


Linux 文 件 系 统 极其 健壮 。 但 这 并 不 代表 文件 系统 不 会 损坏 ,数据 不 会 丢失 。 越 早 发 现 问题 ， 
损失 就 越 小 。 








9.15.1 ”预备 知识 


检查 文件 系统 的 标准 工具 是 fsck。 所 有 的 Linux 发 行 版 中 都 已 经 安装 了 该 命令 。 注意 "feels 
需要 以 root 身 份 或 是 通过 sudo 执 行 。 








9.15.2 ”实战 演练 


如 果 文 件 系 统 长 时 间 没 有 检查 或 是 出 于 某 种 原因 ( 电源 故障 导致 的 不 安全 重启 ) 怀疑 文件 系 
统 有 损坏 ，Linux 会 在 启动 的 时 候 自动 执行 fsck。 你 也 可 以 手动 执行 该 命令 。 


(1) 要 检查 分 区 或 文件 系统 的 错误 ， 只 需要 将 路 径 作 为 fsck 的 参数 : 


# fsck /dev/sdb3 

fsck from util-linux 2.20.1 

e2fsck 1.42.5 (29-Jul-2012) 

HDD2 has been mounted 26 times without being checked, check forced. 
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Pass 1: Checking inodes, blocks, and sizes 

Pass 2: Checking directory structure 

Pass 3: Checking directory connectivity 

Pass 4: Checking reference counts 

Pass 5: Checking group summary information 

HDD2: 75540/16138240 files (0.7% non-contiguous), 
48756390/64529088 blocks 


(2) 选项 -A 可 以 检查 /etc/fstab 中 配置 的 所 有 文件 系统 : 





# fsck -A 
该 命令 会 依次 检查 /etc/fstab 中 列 出 的 文件 系统 。fstab 文 件 定 义 了 磁盘 分 区 与 挂 载 点 之 间 
的 映射 关系 。 它 用 于 在 系统 启动 的 过 程 中 挂 载 文 件 系 统 。 

(3) 选项 -a 指示 fsck 尝 试 自动 修复 错误 ,无 需 询问 用 户 是 否 进 行 修复 。 使 用 这 个 选项 的 时 候 
要 小 心 : 


# fsck -a /dev/sda2 


(4) 选项 -N 可 以 模拟 fsck 要 执行 的 操作 : 








# fsck -AN 


fsck from util-linux 2.20.1 

[/sbin/fsck.ext4 (1) -- /] fsck.ext4 /dev/sda8 
[/sbin/fsck.ext4 (1) -- /home] fsck.ext4 /dev/sda7 
[/sbin/fsck.ext3 (1) -- /media/Data]l fsck.ext3 /dev/sda6 


9.15.3 ”工作 原理 

fsck 不 过 是 各 种 文件 系统 特定 的 fsck 程 序 的 一 个 前 端 应 用 而 已 。 当 执行 Esck 时 ， 它 会 自动 
检测 文件 系统 类 型 并 执行 对 应 的 Esck. fstype 命 令 ， 其 中 fstype 是 文件 系统 的 类 型 。 如 果 我 们 
在 ext 4 文件 系统 上 执行 fsck， 它 最 终 会 调用 fsck .ext4 命 令 。 

正 因为 如 此 ， 你 会 发 现 fsck 只 支持 所 有 这 些 特定 文件 系统 工具 所 共有 的 选项 。 要 查找 更 详 
细 的 选项 ， 请 参考 特定 工具 ( 如 fsck .ext4 ) 的 手册 页 。 

尽管 很 少见 ， 但 是 fsck 也 有 可 能 会 弄 丢 数据 或 是 使 已 经 受 损 的 文件 系统 雪上 加 霜 。 如 果 怀 
疑 文件 系统 有 严重 问题 ， 先 别 急 着 直接 执行 Esck， 而 是 应 该 使 用 选项 -N 模 拟 fsck 将 要 执行 的 修 
复 操作 。 如 果 fscx 的 报告 中 出 现 无 法 修复 的 问题 或 是 其 中 包含 被 破坏 的 目录 结构 ， 你 可 能 需要 
以 只 读 模 式 挂 载 设备 ， 尝 试 从 中 提取 出 重要 的 数据 。 

































































9.16 ”检查 磁盘 健康 情况 
现代 磁盘 驱动 器 能 够 常年 不 出 故障 , 但 如 果 出 现 问题 , 那 就 是 场 灾难 。 现 代 磁 盘 驱 动 器 中 都 
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包含 了 SMART( Self-Monitoring, Analysis, and Reporting Technology, 自我 监测 、 分 析 及 报告 技术 )， 
这 种 技术 能 够 监视 磁盘 健康 情况 ， 可 以 让 你 在 出 现 重大 故障 之 前 替换 掉 不 正常 的 驱动 器 。 





9.16.1 预备 知识 


Linux 可 以 通过 smartmontools 软 件 包 与 驱动 器 中 的 SMART 打交道 。 大 多 数 发 行 版 中 默认 
已 经 安装 了 该 工具 。 如 果 没 有 ， 所 以 可 以 使 用 包 管理 器 自行 安装 : 














apt-get install smartmontools 
或 者 也 可 以 


yum install smartmontools 


9.16.2 ”实战 演练 
smartmontools 的 用 户 接口 是 smartct1 应 用 程序 。 该 应 用 会 检测 磁盘 并 报告 设备 状况 。 
因为 smartct1 需 要 访问 原始 磁盘 设备 ， 所 以 你 必须 以 root 身 份 执 行 。 
选项 -a 会 报告 设备 的 全 部 状态 信息 : 


$ smartctl -a /dev/sda 


命令 输出 中 有 基本 信息 的 标题 、 原 始 数据 值 以 及 检测 结果 。 标题 涵盖 了 被 检测 设备 的 各 种 细 
节 信 息 以 及 该 报告 的 时 间 戳 : 


Smartct1l 5.43 2012-06-30 r3573 [x86_ 64-1Linux-2.6.32- 
642.11.1.e16.x86_64] (local build) 

Copyright (C) 2002-12 by Bruce Allen, 
http://smartmontools.sourceforge.net 











=== START OF INFORMATION SECTION === 
Device Model: WDC WD10EZEX-00BN5AO 
Serial Number: WD-WCC3F1HHJ4T8 

LU WWN Device Id: 5 0014ee 20c75fb3b 
Firmware Version: 01.01A01 


User Capacity: 1,000,204,886,016 bytes [1.00 TB] 

Sector Sizes: 512 bytes logical, 4096 bytes physical 

Device is: Not in smartctl database [for details use: -P 
showalll] 

ATA Version is: 8 

ATA Standard is: ACS-2 (unknown minor revision code: 0x001f) 
Local Time is: Mon Jan 23 11:26:57 2017 EST 


SMART support is: Available - device has SMART capability. 
SMART support is: Enabled 





302 第 9 章 


Gy 


运 


察 秋 





和 RAW_VALUE ) 尤为 值得 注意 。 下 面 例子 中 的 设备 加 电 时 长 为 9823 小 时 。 它 重启 了 11 次 (服务 器 
设备 不 会 频繁 地 重启 )， 当 前 温度 为 30 摄 氏 度 。 如 果 加 电 时 长 接近 于 制造 商 给 定 的 平均 故障 间隔 





原始 数据 值 包括 错误 计数 、 准 备 时 间 ( spin-up time )”、 加 电 时 间 等 ,最 后 两 列 ( WHEN_FAILED 


























时 间 ( Mean Time Between Failure，MTBF )， 就 该 考虑 更 换 设 备 或 是 将 其 移 人 重要 性 较 低 的 系统 


中 。 





























如 果 Power Cycle Count (加 电 次 数 总 和 ) 在 重启 之 后 增加 了 ， 这 表明 电源 或 线 缆 有 问题 。 如 




















果 温 度 升 高 ， 应 该 考虑 检查 一 下 设备 的 安放 环境 。 有 可 能 是 散热 风扇 坏 了 或 是 过 滤器 堵 住 了 : 


SM 
个 和 





ID# ATTRIBUTE NAME FLAG VALUE WORST THRESH TYPE UPDATED 
WHEN_FAILED RAW_VALUE 


9 Power On Hours 0x0032 087 087 000 O1d_age Always 
- 9823 
12 Power_Cycle Count 0x0032 100 100 000 Old age Always 
- 11 
194 Temperature _ Celsius 0x0022 113 109 000 0ld age Always 
- 30 








命令 输出 的 最 后 一 部 分 是 检测 结果 : 


SMART Error Log Version: 1 
No Errors Logged 





SMART Self-test log structure revision number 1 


Num Test_ Description Status Remaining LifeTime (hours) 
LBA of first_ error 
# 1 Extended offline Completed without error 00% 9825 


选项 -t 可 以 强迫 SMART 设备 进行 自 检 。 这 不 会 伤害 到 磁盘 , 并 可 以 在 提供 服务 的 同时 执行 。 
ART 设 备 的 检测 可 长 可 短 。 短 期 检测 只 需要 几 分钟 时 间 ， 长 期 检测 在 大 容量 设备 上 可 能 得 花 
巴 小 时 甚至 更 和 久 : 


$ smartctl1l -t [long] [short] DEVICE 



































$ smartctl1 -t long /dev/sda 


smartctl1 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-642.11.1.el1l6.x86_64] 
(local build) 
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net 


=== START OF OFFLINE IMMEDIATE AND SELF-TEST SECTION === 

Sending command: "Execute SMART Extended self-test routine immediately in 
off-line mode". 

Drive command "Execute SMART Extended self-test routine immediately in off- 
line mode" successful. 

















Q spin-up time 指 的 是 硬盘 主轴 马达 的 转速 从 0 加 速 到 正常 转速 时 所 用 的 时 间 。 这 段 时 间 内 不 能 进行 读 写 ， 必 须 一 直 
等 待 ， 直 到 转速 正常 。 
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Testing has begun. 
Please wait 124 minutes for test to complete. 
Test will complete after Mon Jan 23 13:31:23 2017 


Use smartctl1l -X to abort test. 


这 次 检测 将 耗 时 两 个 小 时 多 一 些 ， 检 测 结果 可 以 通过 命令 smartct1 -a 查看 。 





9.16.3 ”工作 原理 


现代 的 磁盘 存储 设备 可 绝 不 单 是 一 个 旋转 的 金属 盘 片 。 其 中 还 包括 CPU 、ROM 、 内 存 以 及 
定制 的 信号 处 理 芯片 。smartct1 命 令 与 运行 在 磁盘 设备 CPU 上 的 小 型 操作 系统 交互 ， 请 求 检测 
并 报告 检测 结 























9.17 ”获取 磁盘 统计 数据 


smartct1 命 令 可 以 检测 磁盘 并 给 出 很 多 磁盘 统计 数据 。haparm 命 令 能 够 给 出 更 多 的 此 类 数 
据 并 检查 磁盘 在 系统 中 的 执行 状况 ， 这 可 能 会 受到 控制 器 芯片 、 线 缆 等 因素 的 影响 。 








9.17.1 ”预备 知识 


大 多 数 Linux 发 行 版 中 都 包含 hdaparm 命 令 。 你 必须 以 root 身 份 执行 该 命令 。 





9.17.2 “实战 演练 


选项 -I 可 以 给 出 设备 的 基本 信息 : 





$ hdparm -I DEVICE 
$ hdparm -I /dev/sda 


下 面 的 输出 展示 了 部 分 报告 数据 。 其 中 设备 型 号 以 及 固件 和 smartct1i 的 报告 结果 一 样 。 
configuration 部 分 包括 在 分 区 和 格式 化 之 前 可 以 调 校 的 参数 : 


/dev/sda: 








ATA device, with non-removable media 


Model Number: WDC WD10EZEX-00BN5AO0 

Serial Number: WD-WCC3F1HHJ4T8 

Firmware Revision: 01.01A01 

Transport: Serial, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, 
SATA Rev 2.6, SATA Rev 3.0 

Standards: 


Used: unknown (minor revision code 0x001f) 
Supported: 98765 
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Likely used: 9 
Configuration: 

Logical max current 
cylinders 16383 16383 
heads 16 16 
sectors/track 63 63 


CHS current addressable sectors: 16514064 

LBA user addressable sectors: 268435455 

LBA48 user addressable sectors: 1953525168 

Logical Sector size: 512 bytes 

Physical Sector size: 4096 bytes 

device size with M = 1024*1024: 953869 MBytes 

device size with M = 1000*1000: 1000204 MBytes (1000 GB) 


cache/buffer size = unknown 
Nominal Media Rotation Rate: 7200 


Security: 
Master password revision code = 65534 
supported 
not enabled 
not locked 
not frozen 
not expired: security count 
supported: enhanced erase 
128min for SECURITY ERASE UNIT. 128min for ENHANCED SECURITY ERASE UNIT. 
Logical Unit WWN Device Identifier: 50014ee20c75fb3b 
NAA : 5 
IEEE OUI : 0014ee 
Unique ID : 20c75fb3b 
Checksum: correct 


9.17.3 ”工作 原理 


haparm 命 令 是 一 个 内 核 库 和 模块 的 用 户 接口 。 它 支持 修改 参数 以 及 输出 报告 。 在 修改 设备 
参数 时 一 定 要 格外 小 心 。 











S 


9.17.4 ”补充 内 容 
hdparm 命 令 可 以 测试 磁盘 性 能 。 选 项 -t 和 -Tf 能 够 分 别 测试 缓冲 与 缓存 读 操 作 (buffered and 
cached read ): 


# hdparm -t /dev/sda 
Timing buffered disk reads: 486 MB in 3.00 seconds = 161.86 MB/sec 


# hdparm -T /dev/sda 
Timing cached reads: 26492 MB in 1.99 seconds = 13309.38 MB/sec 


管理 重任 








本 章 内 容 
口 收集 进程 信息 口 数据 库 的 形式 及 用 法 
en ee 口 读 写 SQLite 数 据 库 
口 杀 死 进程 以 及 发 送 和 响应 信号 口 读 写 MySQL 数 据 库 
口 向 用 户 终端 发 送 消息 口 用 户 管理 脚本 
口 /proc 文 件 系 统 口 图 像 文件 的 批量 缩放 及 格式 转换 
口 收集 系统 信息 口 终端 截图 
口 使 用 cron 进 行 调度 口 集中 管理 多 个 终端 








10.1 简介 


GNU/Linux 的 生态 系统 是 由 网 络 、 人 硬件、 负责 分 配 资源 的 操作 系统 内 核 、 接 口 模块 、 系 统 实 
用 工具 以 及 用 户 程序 所 组 成 的 。 系 统管 理 员 需要 监视 整个 系统 , 保证 所 有 一 切 都 井然 有 序 。Linux 
的 管理 工具 从 大 包 大 揽 的 GUI 应 用 到 设计 用 于 脚本 编程 的 命令 行 工具 ， 不 一 而 足 。 




















10.2 ”收集 进程 信息 


进程 是 程序 的 运行 实例 (running instance )。 运行 在 计算 机 中 的 多 个 进程 都 被 分 配 了 一 个 称 为 
进程 ID (PID ) 的 唯一 标识 数字 。 同 一 个 程序 的 多 个 实例 可 以 同时 和 运行， 但 是 它们 各 自 拥 有 不 同 
PID 和 属性 。 进 程 属 性 包括 拥有 该 进程 的 用 户 、 进 程 使 用 的 内 存 数量 、 进 程 占 用 的 CPU 时 间 等 。 
这 则 攻略 展示 了 如 何 收集 进程 的 相关 信息 。 















































10.2.1 预备 知识 
和 进程 管理 相关 的 重要 命令 是 cop 、ps 和 pgrep。 这 些 命令 在 所 有 的 Linux 发 行 版 中 都 可 以 找到 。 
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10.2.2 ”实战 演练 


0 这 些 信息 包括 : 拥有 进程 的 用 户 、 进 程 的 起 始 时 间 、 进 程 
对 应 的 命令 路 径 、PID 、 进 程 所 属 的 终端 (TTY )、 进 程 使 用 的 内 存 、 进 程 占 用 的 CPU 等 。 例 如 : 














$ ps 
PID TTY TIME CMD 


1220 pts/0 00:00:00 bash 
1242 pts/0 00:00:00 ps 


ps 命令 默认 只 显示 从 当前 终端 所 启动 的 进程 。 第 一 列 是 PID， 第 二 列 是 TTY， 第 三 列 是 进程 
的 运行 时 长 ， 最 后 一 列 是 CMD ( 进程 所 对 应 的 命令 )。 

可 以 使 用 命令 行 参 数 来 修改 ps 命令 的 输出 

选项 -f ( fu11 ) 可 以 显示 多 列 信息 : 


























$ ps -£ 

UID PID PPID CC STIME TTY TIME CMD 
slynux 1220 1219 0 18:18 pts/0 00:00:00 -bash 
slynux 1587 1220 0 18:59 pts/0 00:00:00 ps -f 


选项 -e ( every ) 和 -ax (all ) 能 够 输出 系统 中 运行 的 所 有 进程 信息 。 


选项 -x (配合 -a ) 可 以 解除 ps 默认 设置 的 TTY 限 制 。 通 常 如 果 使 用 不 带 参 
数 的 ps 命令 | 只 能 打印 出 属于 当前 前 终端 的 进程 。 








命令 ps -e、ps -ef、ps -ax 以 及 ps -axf 都 能 够 生成 包含 所 有 进程 的 报告 ， 提 供 比 ps 更 
多 的 信息 : 


$ ps -e | head -5 


PID TTY TIME CMD 

1 ? 00:00:00 init 

2 ? 00:00:00 kthreadd 

3 ? 00:00:00 migration/0 
4 ? 00:00:00 ksoftirqd/0 


选项 -e 产 生 的 输出 内 容 很 多 。 我 们 使 用 nead 进 行 了 过 滤 ， 只 列 出 了 其 中 的 前 5 项 。 


选项 -o PARAMETER1, PARAMETER2 可 以 指定 显示 哪些 数据 。 

















-o 的 参数 以 喜 号 (，) 作为 分 隔 符 。 过 号 与 接 下 来 的 参数 之 间 是 没有 空格 的 。 

选项 -o 可 以 和 选项 -e 配 合 使 用 ( -oe ) 来 列 出 系统 中 运行 的 所 有 进程 。 但 如 

0 果 在 -o 中 需要 使 用 过 滤器 ， 例 如 列 出 特定 用 户 拥有 的 进程 ， 那 就 不 能 再 搭配 -e 
了 。 因 为 -es 和 过 滤器 结合 使 用 没有 任何 实际 效果 ， 依 旧 会 显示 所 有 的 进程 。 


在 下 面 的 例子 中 ，comm 代 表 COMMAND ，pcpu 代 表 CPU 占 用 率 : 
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$ ps -eo comm,pcpu | head -5 


COMMAND %CPU 
init 0.0 
kthreadd 0.0 
migration/0 0.0 
ksoftirgqd/0 0.0 


10.2.3 ”工作 原理 
选项 -o 可 以 使 用 不 同 的 参数 ， 这 些 参 数 及 其 描述 如 表 10-1 所 示 。 


































































































表 10-1 

人 参 数 描 述 
pepu CPU 占 用 率 
pid 进程 ID 
ppid 父 进程 ID 
pmem 内 存 使 用 率 
Comm 可 执行 文件 名 
cmd 简单 命令 ? 
user 启动 进程 的 用 户 
nice 优先 级 
time 累计 的 CPU 时 间 
etime 进程 启动 后 运行 的 时 长 
tty 所 关联 的 TTY 设 备 
euid 有 效用 户 ID 
stat 进程 状态 














10.2.4 ”补充 内 容 
ps 可 以 配合 grep 以 及 其 他 工具 生成 定制 的 报告 
示 进 程 的 环境 变量 
有 些 进 程 依赖 于 所 定义 的 环境 变量 。 了 解 这 些 环 取 值 有 助 于 调试 或 定制 进 
ps 命令 通常 并 不 会 显示 进程 的 环境 信息 。 输 出 修饰 符 e 可 以 将 其 添加 到 命令 尾部 : 


























be 








令 是 我 们 平时 使 用 最 频繁 的 一 类 命令 。 它 是 由 空白 字符 分 隔 的 一 系列 单词 ， 以 shell 控 制 操 作 符 作 为 结尾 。 
一 个 单词 指定 要 执行 的 命令 ， 余 下 的 单词 作为 命令 参数 。shell 控 制 操作 符 可 以 是 换行 符 ， 或 者 是 | | 、&& 
;、;;、|、|&、(、)。 详 情 可 参阅 Bash Reference Manual，3.2.1 节 。 
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请 看 下 面 的 例子 : 


$ ps -eo pid,cmd e | tail -n 1 

1238 -bash USER=slynux LOGNAME=slynux HOME=/home/slynux 
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin 
MAIL=/var/mail/slynux SHELL=/bin/bash SSH CLIENT=10.211.55.2 49277 22 
SSH_CONNECTION=10.211.55.2 49277 10.211.55.4 22 SSH TTY=/dev/pts/0 


环境 信息 可 以 帮助 跟踪 apt-get 包 管理 器 在 使 用 过 程 中 出 现 的 问题 。 如 果 你 是 通过 HITTP 代 
理 连接 到 Internet， 你 也 许 需 要 使 用 http_proxy=host :port 来 设置 环境 变量 。 如 果 没有 设置 的 
话 ，apt-get 会 无 法 找到 代理 服务 器 , 进而 返回 错误 信息 。 只 要 知道 了 是 没有 设置 http_proxy， 
问题 就 好 解决 了 。 

当 使 用 如 cron ( 本 章 随 后 会 介绍 ) 这 类 调度 工具 运行 应 用 程序 时 ， 有 可 能 忘 了 设置 所 需 的 
环境 变量 。 下 面 的 crontab 条 目 就 无 法 打开 基于 GUI 窗口 的 应 用 : 


























00 10 * * * /usr/bin/windowapp 


因为 GUI 应 用 需要 使 用 环境 变量 DISPLAY。 要 想 确 定 都 需要 哪些 环境 变量 ， 可 以 先 手动 运行 
windaowapp， 然后 使 用 命令 ps -C windowapp -eo cmd eo 


确定 了 所 需 的 环境 变量 之 后 ， 将 其 定义 在 crontab 中 的 命令 之 前 : 























00 10 * * * DISPLAY=:0 /usr/bin/windowapp 
或 者 


DISPLAY=:0 
00 10 * * * /usr/bin/windowapp 


环境 变量 定义 DISPLAY= :0 是 从 ps 命令 的 输出 中 得 到 的 。 

2. 创建 进程 树 状 视图 

bs 命令 能 够 输出 进程 的 PID ， 但 是 从 子 进 程 一 直 跟 踪 到 最 终 的 父 进程 是 一 件 非 常 枯燥 的 事 。 
在 ps 命令 的 尾部 加 上 f 就 可 以 创建 进程 的 树 状 视 图 ， 显 示 出 任务 之 间 的 父子 关系 。 下 面 的 例子 展 
示 了 bash shell 所 调用 的 ssh 会 话 ， 前 者 运行 在 xterm 中 : 











$ ps -u clif f | grep -A2 xterm | head -3 


15281 ? S 0 :00 xterm 
15284 pts/20 Ss+ 0:00 \_ bash 
15286 pts/20 S+ 0:18 \_ ssh 192.168.1.2 


3. 对 ps 输出 进行 排序 
ps 命令 的 输出 默认 是 没有 经 过 排序 的 。 选项 --sort 可 以 强制 ps 对 输出 排序 。 参数 前 的 + 表示 
升序 ，- 表 示 降 序 : 


$ ps [OPTIONS] --sort -paramterl,+parameter2,parameter3.. 
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例如 ， 要 列 出 占用 CPU 最 多 的 前 5 个 进程 : 


$ ps -eo comm, 


COMMAND 
Xorg 


hald-addon-stor 


ata/0 
scsi eh 0 


输出 中 显示 了 依据 CPU 占 用 率 进行 降序 排列 的 前 5 个 进程 。 





pcpu --sort -pcpu | head -5 
%CPU 
0.1 


0.0 
0.0 
0.0 











grep 可 以 过 滤 ps 的 输出 。 要 想 找 出 当前 运行 的 所 有 Bash 进 程 ， 可 以 使 用 : 


$ ps -eo comm, 


bash 
bash 


pid,pcpu,pmem | grep bash 
1255 0.0 0.3 
1680 5.5 0.3 


4. 根据 真实 用 户 /ID 以 及 有 效用 户 /ID 过 滤 ps 输 出 


ps 命令 可 以 根据 指定 的 真实 /有 效用 户 名 或 ID (real and effective username or ID ) 对 进程 进行 


分 组 。 通 过 检查 每 一 条 


口 使 用 -u EUS 
口 使 用 -U RUS 


例如 : 




















条 输出 是 否 属于 参数 列表 中 指定 的 有 效用 户 或 真实 用 户 ,ps 就 能 够 过 滤 输 出 。 


ER1, EUSER2 ... 指 定 有 效用 户 列表 ; 
ER1, RUSER2 ... 指 定 真 实用 户 列 表 。 














# 显示 以 root 作 为 有 效用 户 ID 和 真实 用 户 ID 的 用 户 以 及 CPU 占 用 率 


$ ps -u root 


-U root -o user,pcpu 





-o 可 以 和 -e 结 合成 -eo 的 形式 , 但 如 果 使 用 了 过 滤器 ， 就 不 能 再 使 用 -e 了 , 它 会 使 过 滤器 选 


项 失效 。 


5. 用 TTY 过 滤 ps 输 出 








可 以 通过 指定 进 











$ ps -七 TTY1, 
例如 : 


$ ps -t pts/0, 
PID TTY 
1238 pts/0 
1835 pts/1 
1864 pts/0 


井 程 所 属 的 TTY 来 选择 ps 的 输出 。 选 项 -t 可 以 指定 TTY 列 表 : 


TTY2 .. 





pts/1 
TIME CMD 
00:00:00 bash 
00:00:00 bash 
00:00:00 ps 


6. 进程 线程 的 相关 信息 
选项 -可 以 显示 出 线程 的 相关 信息 。 该 选项 会 在 输出 中 添加 一 列 LWP。 如 果 再 加 上 选项 -f 
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( -LF )， 就 会 多 显示 出 两 列 : NLWP ( 线程 数量 ) 和 LWP ( 线程 ID )。 





$ ps -Lf 

UID PID PPID LWP C NIWP STIME TTY TIME 
CMD 

user 1611 1 1612 0 2 Jan16 ? 00:00:00 
/usr/lib/gvfs/gvfsd 


下 面 的 命令 可 以 列 出 线程 数 最 多 的 5 个 进程 


$ ps -eLf --sort -nlwp | head -5 


UID PID PPID LWP C NLWP STIME TTY TIME 
CMD 

root 647 1 647 0 64 14:39 ? 00:00:00 
/usr/sbin/console-kit-daemon --no-daemon 

root 647 1 654 0 64 14:39 ? 00:00:00 
/usr/sbin/console-kit-daemon --no-daemon 

root 647 1 656 0 64 14:39 ? 00:00:00 
/usr/sbin/console-kit-daemon --no-daemon 

root 647 1 657 0 64 14:39 ? 00:00:00 


/usr/sbin/console-kit-daemon --no-daemon 


7. 指定 输出 宽度 以 及 所 要 显示 的 列 
ps 命令 包含 多 种 可 用 于 选择 输出 字段 的 选项 。 下 面 表 10-2 是 一 些 常 用 的 选项 。 





















































表 10-2 
-f 显示 完整 格式 ， 包 括 父 进程 的 起 始 时 间 
-u userList 选择 userList 中 的 用 户 所 拥有 的 进程 。 默 认 情 况 下 ，ps 只 针对 当前 用 户 
长 格式 列表 。 显 示 用 户 ID、 父 进程 PID、 占 用 内 存 大 小 等 内 容 



































8. 找 出 特定 命令 对 应 的 进程 ID 

假设 某 个 命令 有 多 个 实例 正在 运行 。 在 这 种 情况 下 ， 我 们 需要 识别 出 这 些 进 程 的 PID。ps 和 
pgrep 命 令 可 以 完成 这 项 任务 : 

$ ps -C COMMAND NAME 
或 者 

$ ps -C COMMAND NAME -oo pid= 
如 果 在 pid 后 面 加 上 =， 这 会 去 掉 ps 输 出 中 PID 一 列 的 列 名 。 要 想 移 除 某 一 列 的 列 名 ， 只 需要 把 = 
放 在 对 应 参数 的 后 面 就 行 了 

下 面 的 命令 可 以 列 出 bash 进 程 的 PID : 

$ ps -C bash -o pid= 


1255 
1680 
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bgrep 命 令 也 可 以 列 出 命令 的 进程 ID 列表 : 


$ pgrep bash 


1255 
1680 
pgrep 只 需要 使 用 命令 名 的 一 部 分 作为 参数 ， 例 如 pgrep ash 或 pgrep bas 
都 没 问 题 。 但 是 ps 需要 你 输入 准确 的 命令 名 。pgrep 也 支持 输出 过 滤 选 项 。 





如 果 不 使 用 换行 符 作为 分 隔 符 ， 那 么 可 以 使 用 选项 -a 来 指定 其 他 的 输出 分 隔 符 : 
$ pgrep COMMAND -d DELIMITER STRING 
$ pgrep bash -d ":" 
1255:1680 
选项 -u 可 以 过 滤 用 户 : 
$ pgrep -u root,slynux COMMAND 


其 中 ，root 和 slynux 都 是 用 户 名 。 
选项 -c 可 以 返回 匹配 的 进程 数量 

















$ pgrep -c COMMAND 
9. 确定 系统 繁忙 程度 


系统 要 么 是 处 于 空闲 状态 ， 要 么 是 处 于 过 载 状态 。1loaq average 的 值 描述 了 系统 的 负载 情 
况 。 它 指明 了 系统 中 可 运行 进程 的 平均 数量 。 








uptime 和 top 命 令 都 可 以 显示 平均 负载 。 平 均 负 载 由 3 个 值 来 指定 ， 第 1 个 值 指明 了 1 分 钟 内 
的 平均 值 ， 第 2 个 值 指明 了 5 分 钟 内 的 平均 值 ， 第 3 个 值 指 明了 15 分 钟 内 的 平均 值 。 


uptime 命 令 的 输出 为 : 














$ uptime 
12:40:53 up 6:16, 2 users, load average: 0.00, 0.00, 0.00 


10. top 命 令 

默认 情况 下 ，top 命 令 会 列 出 CPU 占 用 最 高 的 进程 列表 以 及 基本 的 系统 统计 信息 ， 其 中 包括 
总 的 任务 数 、CPU 核 心 数 以 及 内 存 占用 情况 。 命 令 输出 每 隔 几 秒 钟 就 会 更 新 一 次 。 

下 面 的 命令 显示 出 了 一 些 系统 统计 信息 以 及 CPU 占用 率 最 高 的 进程 : 

$ top 


top - 18:37:50 up 16 days, 4:41,7 users,load average 0.08 0.05 .11 
Tasks: 395 total, 2 running, 393 sleeping, 0 stopped 0 zombie 
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10.2.5 ”参考 
10.8 节 讲解 了 如 何 调度 任务 。 


10.3 which, whereis, whatis 与 file 



































有 些 文件 可 能 会 出 现 重 名 。 因 此 , 应 该 弄 清楚 被 调用 的 是 哪个 可 执行 文件 以 及 一 个 文件 是 编 
译 过 的 二 进 制 代码 还 是 脚本 。 























实战 演练 
which、whereis、file 与 whatis 命 令 可 以 给 出 文件 和 目录 的 相关 信息 。 

口 which 
which 命 令 用 来 找 出 某 个 命令 的 位 置 。 


$ which 1s 
/bin/1Ls 


我 们 通常 在 使 用 命令 时 ， 无 需 知 道 可 执行 文件 所 在 的 位 置 。 根 据 对 PATH 变量 的 定义 ， 你 
可 以 直接 使 用 /bin、/usr/local/bin 或 /opt/PACKAGENAME/bin 目 录 下 的 命令 。 

当 输 入 命令 时 ， 终端 会 在 一 组 目录 中 搜索 并 执行 所 找到 的 第 一 个 可 执行 文件 。 这 些 日 录 
由 环境 变量 PATH 指 定 : 




















$ echo $PATH 
/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin 


我 们 可 以 添加 搜索 目录 并 导出 新 的 PATH。 如 果 要 将 /opt/bin 添 加 到 PATH 中 ,可 以 使 用 以 
下 命令 : 


$ _ export PATH=$PATH: /opt/bin 
# 将 /opt/bin 添 加 到 PATH 中 








口 whereis 
whereis 与 which 命 令 类 似 , 它 不 仅 会 返回 命令 的 路 径 , 还 能 够 打印 出 其 对 应 的 命令 手册 
以 及 源 代码 的 路 径 ( 如 果 有 的 话 ): 


$ whereis 1s 
ls: /bin/ls /usr/share/man/manl/ls.1.gz 

















口 whatis 


whatis 会 输出 指定 命令 的 一 行 简短 描述 。 这 些 信息 是 从 命令 手册 中 解析 得 来 的 : 
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$ whatis 1s 
1s (1) - list directory contents 


DD file 
file 命 令 可 以 用 来 确定 文件 的 类 型 ， 其 语法 如 下 : 
$ file FILENAME 


六 命令 返回 的 文件 类 型 可 能 是 几 个 单词 也 可 能 是 一 大 段 描 述 

















$file /etc/passwd 

/etc/passwd: ASCII text 

$ file /bin/ls 

/bin/ls: ELF 32-bit LSB executable, Intel 80386, version 1 
(SYSV), dynamically linked (uses shared libs), for GNU/Linux 
2.6.15, stripped 


apropos 
有 时 候 我 们 需要 搜索 与 茶 个 主题 相关 的 命令 ,apropos 可 以 搜索 包含 指定 关 
键 字 的 手册 页 : 


apropos topic 
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如 果 需 要 降低 系统 负载 或 是 重启 系统 ( 如 果 进 程 行为 失常 ， 开 始 耗 费 过 多 资源 )， 就 得 杀 死 
进程 。 作 为 一 种 进程 间 通 信 机 制 , 信和 号 可 以 中 断 进 程 运 行 并 强迫 进程 执行 某 些 操作 。 这 些 操作 就 
包括 以 受 控 的 方式 终止 进程 或 立刻 终止 进程 。 



































10.4.1 预备 知识 


言 号 能 够 中 断 正 在 运行 的 程序 。 当 进程 接收 到 一 个 信号 时 ， 它 会 执行 对 应 的 信号 处 理 程序 
( signal handler ) 作为 响应 。 编 译 型 的 应 用 程序 使 用 系统 调用 kil11 生 成 信号 。 在 命令 行 (或 是 shell 
脚本 ) 中 是 通过 ki11 命 令 来 实现 的 。trap 命 令 可 以 在 脚本 中 用 来 处 理 所 接收 的 信号 。 


每 个 信和 号 都 有 对 应 的 名 字 以 及 整数 值 。sIGKILL (9 ) 信号 会 立即 终止 进程 。ctr1l+c 会 发 送 
信和 号 中 断 任务 "，Ctrl+Z 会 发 送信 号 将 任务 置 人 后 台 
































10.4.2 ”实战 演练 
(1) Kill1 -1 命令 可 以 列 出 所 有 可 用 的 信号 











Q@ CtrltC 发 送 的 是 sIGINT 信 号 。 它 和 sIGKILL 信 号 的 区 别 在 于 后 者 不 能 被 捕获 ， 也 不 能 被 忽略 。 








$ kill -1 

SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 5) SIGTRAP 
(2) 终止 进程 : 

$ kill PROCESS_ID LIST 

kil1 命 令 默 认 发 送 STGTERM 信 号 。 进 程 ID 列表 中 使 用 空格 来 分 隔 各 个 进程 ID。 
(3) 选项 -s 可 以 指定 发 送 给 进程 的 信号 : 














$ kill -s SIGNAL PID 


参数 SIGNAL 可 以 是 信号 名 或 编号 。 尽 管 信号 的 用 途 各 种 各 样 , 但 常用 的 其 实 也 就 是 那么 
几 个 。 






































口 SIGHUP 1: 对 控制 进程 或 终端 的 结束 进行 挂 起 检测 (hangup detection )。 
口 SIGINT 2: 当 按 下 Ctrl+C 时 发 送 该 信号 。 

D SIGKILL 9: 用 于 强行 杀 死 进程 。 
口 SIGTERM 15: 默认 用 于 终止 进程 。 

口 SIGTSTP 20: 当 按 下 Ctrl+Z 时 发 送 该 信号 。 

















(4) 我 们 经 常 需要 强行 杀 死 进程 ， 这 样 做 的 时 候 要 小 心 。 这 种 做 法 立刻 生效 ， 根 本 没有 机 会 
保存 数据 或 执行 通常 的 清理 工作 。 应 该 先 尝试 使 用 sIGTERM, 将 SIGKILL 留 作 最 后 一 招 : 








$ kill -s SIGKILL PROCESS_ID 
也 可 以 使 用 下 面 的 命令 执行 清理 操作 : 


$ kill -9 PROCESS_ID 





10.4.3 ”补充 内 容 
Linux 中 还 有 其 他 一 些 可 以 发 送信 号 或 终止 进程 的 命令 。 
1. kill 命 令 系 列 


kil11 命 令 以 进程 ID 作为 参数 。kil11al1 命 邻 可 以 通过 名 字 来 终止 进程 : 





$ killall process name 

选项 -s 可 以 指定 要 发 送 的 信号 。ki11all 默 认 发 送 SIGTERM 信 号 : 
$ killall -s SIGNAL process_ name 

选项 -9 可 以 依照 名 字 强 行 杀 死 进 程 : 


$ killall -9 process name 
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例如 : 
$ killall -9 gedit 
选项 -u 可 以 指定 进程 所 属 用 户 : 
$ killall -u USERNAME process_ name 


如 果 需 要 在 杀 死 进程 前 进行 确认 ， 可 以 使 用 ki11al1l 的 -I 选项 。 
pki1l1l 命 令 和 ki11 命 令 类 似 ， 不 过 默认 情况 下 pki11 接 受 的 是 进程 名 ， 而 非 进程 ID: 











$ pkKill process_ name 
$ pkill -s SIGNAL process_ name 


SIGNAL 是 信号 编号 。pki11 不 支持 信号 名 ， 该 命令 的 很 多 选项 和 ki11 一 样 。 要 了 人 解 更 多 详 
细 信 息 ， 请 参阅 bki11 的 命令 手册 。 

2. 捕获 并 响应 信号 

设计 良好 的 程序 在 接收 到 sIGTERM 信 和 号 时 会 保存 好 数据 ， 然 后 放心 地 结束 shut down 
cleanly )。Ezrap 命 令 在 脚本 中 用 来 为 信号 分 配 信号 处 理 程序 。 一 旦 使 用 Erap 将 某 个 函数 分 配给 一 

号 ， 那么 当 脚 本 运行 收 到 该 信号 时 ， 就 会 执行 相应 的 函数 。 

命令 语法 如 下 : 

trap 'signal handler function name' SIGNAL LIST 
SIGNAL_LIST 以 空格 分 隔 ， 它 可 以 是 信号 编号 或 信号 名 。 

下 面 是 一 个 能 够 响应 信号 SIGINT 的 shell 脚 本 : 

#/bin/bash 


# 文 件 名 : sighandle.sh 
# 用 途 : 信号 处 理 程序 







































































function handler() 
下 

echo Hey, received signal : SIGINT 
} 





#S$SS 是 一 个 特殊 变量 ， 它 可 以 返回 当前 进程 /脚本 的 进程 ID 
echo My process ID is SS 


#handler 是 信号 SIGINT 的 信号 处 理 程序 的 名 称 
trap 'handler' SIGINT 


while true; 
do 

sleep 1 
done 
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在 终端 中 运行 该 脚本 。 当 脚本 运行 时 ， 如 果 按 Ctrl+C， 就 会 显示 一 条 消息 ， 这 是 通过 执行 与 信号 
关联 的 信和 号 处 理 程序 实现 的 。Ctrl+C 会 发 出 一 个 sIGINT 信 和 号 。 

通过 使 用 一 个 无 限 循环 while 来 保持 进程 运行 。 这 样 就 可 以 使 它 能 够 响应 另 一 个 进程 以 异步 
方式 发 送 的 信号 。 用 来 保持 进程 一 直 处 于 活动 状态 的 循环 通常 称 为 事件 循环 (eventloop ) 。 

如 果 给 出 了 脚本 的 进程 ID ， 我 们 可 以 用 kil11 命 令 向 其 发 送信 号 : 

$ kill -s SIGINT PROCESS_ID 

脚本 sighandle.sh 会 在 运行 时 输出 自己 的 进程 ID ， 或 者 也 可 以 用 ps 命令 找 出 它 的 进程 ID。 

如 果 没 有 为 信号 指定 信号 处 理 程序 , 那么 将 会 调用 由 操作 系统 默认 分 配 的 信号 处 理 程序 。 


般 来 说 ， 按 下 Ctrl+C 会 终止 程序 ， 因 为 这 是 操作 系统 提供 的 处 理 程序 的 默认 行为 。 不 过 这 里 我 们 
自 定义 的 信号 处 理 程 序 履 盖 了 默认 的 信号 处 理 程序 。 


我 们 能 够 通过 trap 命 令 为 任何 可 用 的 信号 (ki11 -1 ) 定义 处 理 程序 。 一 个 信号 处 理 程序 
也 可 以 处 理 多 个 信号 。 






















































































10.5 ”向 用 户 终端 发 送 消 息 


Linux 支 持 3 种 可 以 向 其 他 用 户 显 示 消 息 的 应 用 。write 命 令 可 以 向 一 个 用 户 发 送 消息 , talk 
命令 可 以 让 两 个 用 户 展开 会 话 ，wal11 命 令 可 以 向 所 有 用 户 发 送 消息 。 


在 执行 某 些 可 能 会 造成 影响 的 操作 之 前 〈 比如 重启 服务 器 )， 系 统管 理 员 应 该 向 所 有 的 系统 
或 网 络 用 户 的 终端 上 发 送 一 条 信息 。 























10.5.1 预备 知识 


大 多 数 Linux 发 行 版 中 都 包含 write 和 wal1 命 令 。 如 果 用 户 多 次 登录 ， 你 可 能 需要 指定 要 
消息 发 往 哪 个 终端 。 


who 命 令 可 以 确定 用 户 的 终端 : 








ENy 


$> who 
userl pts/0 2017-01-16 13:56 (:0.0) 
userl pts/1 2017-01-17 08:35 (:0.0) 


第 二 列 (pts/#) 就 是 用 户 终端 的 名 称 。 
write 和 wal1 命 令 只 能 作用 在 单个 系统 。talk 命 令 可 以 连接 网 络 上 的 用 户 。 
talk 命 令 通常 并 没有 预 装 。talk 命 令 以 及 talk 服 务 器 必须 安装 并 运行 在 使 用 该 应 用 的 主机 
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上 。 在 基于 Debian 的 系统 中 需要 安装 talk 和 talkda， 在 基于 Red Hat 的 系统 中 需要 安装 talk 和 和 
talk-server。 你 可 能 还 得 编辑 /etc/xinet.d/talk 和 /etc/xinet.d/ntalk， 将 其 中 的 
disable 字 上 段 设 置 为 no。 完 成 之 后 再 重启 xinet: 


# cd /etc/xinet.d 
# vi ntalk 

# cd /etc/init.d 
#./xinetd restart 





10.5.2 ”实战 演练 
1. 向 单个 用 户 发 送 消息 
write 命 令 可 以 向 单个 用 户 发 送 消息 : 
$ write USERNAME [device] 
发 送 的 消息 可 以 来 自 文件 、echo 命 令 或 是 采用 交互 方式 输入 。CtrltD 可 以 结束 交互 式 输入 。 
在 命令 后 面 加 上 伪 终 端 名 就 可 以 将 消息 传人 特定 的 会 话 : 
$ echo "Log off now. I'm rebooting the system" | write userl1 pts/3 
2. 同 其 他 用 户 展开 会 话 
talk 命 令 可 以 在 两 个 用 户 之 间 打 开 一 个 交互 式 会 话 。 其 语法 为 : 














$ talk user@host 
下 面 的 命令 会 向 user2 发 起 会 话 : 
$ talk user2@workstation2 .example.com 


输入 talk 命 令 之 后 ， 你 的 终端 会 话 内 容 会 被 清空 ， 然 后 分 割 成 两 个 窗口 。 在 其 中 一 个 窗口 
中 会 显示 以 下 文本 : 





[Waiting for your party to respond] 
对 方 会 看 到 如 下 消息 : 


Message from Talk Daemon@workstationl .example.com 
talk: connection requested by userl@workstation.example.com 
talk: respond with talk userl@workstationil.example.com 


对 方 调用 talk 时 ， 其 终端 会 话 同样 也 会 被 清空 并 分 割 。 你 们 两 人 输入 的 内 容 都 会 出 现在 对 
方 的 窗口 中 : 








I need to reboot the database server. 
How much longer will your processing take? 


A 
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90% complete. Should be just a couple more minutes. 
3. 向 所 有 用 户 发 送 消息 
wall (WriteALL ) 命令 会 向 所 有 的 用 户 及 终端 广播 信息 : 


$ cat message | wall 


或 者 


$ wall< message 
Broadcast Message from slynux@slynux-laptop 
(/dev/pts/1) at 12:54 ... 
This is a message 
消息 头 部 显示 了 是 谁 发 送 的 消息 : 用 户 及 其 所 在 主机 。 
write、talk 和 wal1 命 令 只 有 在 write message 选 项 启用 的 情况 下 才能 够 在 用 户 之 间 发 送 消 
而 root 用 户 总 是 能 够 发 送 消息 。 


write message 选 项 通常 都 是 启用 的 。 命 令 mesg 可 以 启用 或 禁止 消息 接收 : 
































# 允许 接收 消息 
$ mesg Y 

# 禁止 接收 消息 
$ 


mesgn 


10.6 /proc 文件 系统 

















/proc 是 一 种 存在 于 内 存 中 的 伪 文 件 系 统 ( pseudo flesystem )， 它 的 引入 是 为 了 可 以 从 用 户 空 





间 中 读 取 Linux 内 核 的 内 部 数据 结构 。 其 中 大 多 数 伪 文件 都 是 只 读 的 ， 不 过 有 一 些 ， 比 如 
/proc/sys/net/ipv4/forward( 在 第 8 章 中 讲 过 )， 可 用 于 微调 系统 行为 。 


实战 演练 


看 ， 


/proc 目 录 中 包含 了 多 个 文件 和 目录 。 其 中 大 多 数 文件 可 以 使 用 cat 、less 或 more 命 令 来 查 
其 内 容 都 是 纯 文本 格式 。 


系统 中 每 一 个 运行 的 进程 在 /proc 中 都 有 一 个 对 应 的 目录 ， 目 录 名 和 进程 ID 相同 。 


以 Bash 为 例 ， 它 的 PID 是 4295 (pgrep bash )， 那 么 就 会 存在 一 个 对 应 的 目录 /proc/4295。 

















该 目录 中 包含 了 大 量 有 关 进 程 的 信息 。/proc/PID 中 的 文件 包括 以 下 几 个 。 
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口 environ: 包含 与 进程 相关 的 环境 变量 。 使 用 cat /proc/4295/environ 可 以 显示 所 有 
传递 给 进程 4295 的 环境 变量 。 

口 cwd: 这 是 一 个 到 进程 工作 目录 的 符号 链接 。 

口 sxe: 这 是 一 个 到 进程 所 对 应 的 可 执行 文件 的 符号 链接 。 


$ readlink /proc/4295/exe 
/bin/bash 


口 fa: 这 是 一 个 目录 ,包含 了 进程 所 用 到 的 文件 描述 符 。0、1、2 分 别 对 应 于 stdin 、stdout、 
stderr。 


口 io: 该 文件 显示 了 进程 所 读 / 写 的 字符 数 。 



































10.7 ”收集 系统 信息 


和 计算 机 系统 相关 的 数据 非常 多 ， 其 中 包括 网 络 信息 、 主 机 名 、 内 核 版 本 、Linux 发 布 版 名 
称 、CPU 型 号 描述 、 内 存 占用 情况 、 磁 盘 分 区 等 。 这 些 数据 都 可 以 从 命令 行 中 获取 。 


实战 演练 
(1) hostname 和 uname 可 以 输出 当前 系统 的 主机 名 : 
$ hostname 
或 者 


$ uname -n 
server .example.com 


(2) uname 的 选项 -a 可 以 输出 Linux 内 核 版 本 、 硬 件 架 构 等 详细 信息 : 


$ uname -a 
Server.example.com 2.6.32-642.11.1.e16.x86 64 #1 SMP Fri Nov 18 
19:25:05 UTC 2016 x86_ 64 x86_ 64 GNU/Linux 


(3) 选项 -r 可 以 输出 内 核发 行 版 本 : 





$ uname -r 
2.6.32-642.11.1.e16.x86_64 


(4) 选项 -m 可 以 输出 主机 类 型 : 


$ uname -m 
x86_64 


(5) /proc 目 录 中 存 有 系统 、 模 块 以 及 运行 进程 的 相关 信息 。/proc/cpuinfo 中 包含 了 CPU 
的 详细 信息 : 
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$ cat /proc/cpuinfo 


processor : 0 
vendor_id : GenuineIntel 
cpu family 和 
model : 63 


model name : Intel(R)Core(TM)i7-5820K CPU @ 3.30GHz 





如 果 处 理 器 配备 了 多 个 处 理 核 心 ， 上 面 的 内 容 会 
以 使 用 sed。 第 5 行 包 含 了 处 理 髓 名 称 : 


$ cat /proc/cpuinfo | sed -n 5p 
Intel(R)CORE(TM)i7-5820K CPU @ 3.3 GHz 


(6) /proc/meminfo 中 包含 了 内 存 相关 的 信息 : 








$ cat /proc/meminfo 


MemTotal : 32777552 kB 
MemFree: 11895296 kB 
Buffers: 634628 kB 








meminfo 的 第 一 行 显示 出 了 系统 可 用 内 存 总 量 : 





$ cat /proc/meminfo | head -1 
MemTotal : 1026096 kB 


(7) /proc/partitions 中 描述 了 磁盘 分 区 信息 : 


$ cat /proc/partitions 
major minor #blocks name 


8 0 976762584 sda 
8 I 512000 sdal 
8 2 976248832 sda2 


出 现 多 次 。 要 想 从 中 提取 某 一 一 项 信息 ,可 


fdi sk 命令 可 以 编辑 磁盘 分 区 表 ， 也 可 以 输出 分 区 表 的 当前 内 容 。 以 root 号 份 执行 下 列 























命令 : 
$ sudo fdisk -1 


(8) lshw 和 gdmidecode 可 以 生成 有 关系 统 的 一 份 详尽 的 报告 。 报 
BIOS、CPU、 内 存 插 权 、 接 口 模 、 磁 盘 等 。 这 两 个 命令 必 和 有 

通常 直接 就 可 以 使 用 ，1shw 可 能 需要 你 自己 手动 安装 

$ sudo lshw 

description: Computer 


product: 440BX 
vendor: Intel 






























































$ sudo dmidecode 





告 中 的 内 容 涉 及 到 主板 、 
页 以 root 身 份 执 行 。dmi decode 
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SMBIOS 2.8 Present 
115 structures occupying 4160 bytes . 
Table at 0xDCEE1000 . 


BIOS Information 
Vendor: American Megatrends Inc 


10.8 使 用 cron 进行 调度 


GNU/Linux 系 统 包含 了 多 种 任务 调度 的 工具 , 其 中 cron 的 应 用 最 为 广泛 。 它 人 允许 任务 能 够 按 
照 固定 的 时 间 间 隔 在 系统 后 台 自 动 运行 。cron 使 用 了 一 个 表 (crontab )， 表 中 保存 了 需要 执行 的 
一 系列 脚本 或 命令 以 及 执行 时 间 。 


cron 多 用 于 调度 系统 维护 任务 ， 比 如 备份 、 使 用 ntpaate 同 步 系 统 时 钟 以 及 删除 临时 文件 。 
普通 用 户 可 以 使 用 cron 安 排 在 深夜 进行 下 载 ， 这 时 候 的 资费 要 更 便宜 ， 网 络 带 宽 也 更 高 。 














10.8.1 预备 知识 

所 有 的 GNU/Linux 发 布 版 默认 都 包含 了 cron 调 度 工具 。 它 会 扫描 cron 表 ， 确 定 其 中 是 否 有 
需要 执行 的 命令 。 每 个 用 户 都 有 自己 的 cron 表 ， 这 其 实 就 是 一 个 纯 文本 文件 。crontap 命 令 用 
于 处 理 cron 表 。 























10.8.2 ”实战 演练 


cron 表 项 指定 了 执行 时 间 以 及 要 执行 的 命令 。cron 表 中 的 每 一 行 都 定义 了 单条 命令 。 命 令 
可 以 是 脚本 或 二 进 制 可 执行 文件 。 当 cron 执 行 命令 的 时 候 是 以 该 表 项 创建 者 的 身份 执行 的 ,但 
它 不 会 去 执行 该 用 户 的 .bashrc 文 件 。 如 果 命 令 需要 使 用 环境 变量 ， 必 须 在 crontab 中 定义 。 


cron 表 中 的 每 一 行 ( 表 项 ) 均 由 6 个 字段 组 成 ， 字 段 之 间 以 空格 分 隔 并 按照 以 下 顺序 排列 : 


口 分 钟 (0~ 59 ); 

口 小 时 (0~23 ); 

口 天 (1~31); 

口 月 份 (1~12); 

口 星期 中 的 某 天 (0 ~6); 

口 命令 (在 指定 时 间 执 行 的 脚本 或 命令 )。 


前 5 个 字段 指定 了 命令 开始 执行 的 时 间 。 多 个 值 之 间 用 逗号 分 隔 (不 要 用 空格 ) 星 号 表示 任 
何 时 间 段 。 除 号 表示 调度 的 时 间 间 隔 ( 在 分 钟 字段 上 出 现 的 */5 表 示 每 隔 5 分 钟 )。 
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(1) 在 每 天 中 每 小 时 的 第 2 分 钟 执 行 脚本 test.sh: 
02 * * * * /home/slynux/test.sh 
(2) 在 每 天 的 第 5、6、7 小 时 执行 脚本 test.sh: 
00 5,6,7 * * /home/slynux/test.sh 
(3) 在 周 日 的 时 候 ， 每 隔 2 个 小 时 执行 脚本 script.sh: 
00 */2 * * 0 /home/slynux/script.sh 
(4) 在 每 天 凌晨 2 点 关闭 计算 机 : 
00 02 * * * /sbin/shutdown -h 
(5) crontab 命 令 可 以 采用 交互 式 或 是 使 用 预先 写 好 的 文件 。 
选项 -e 可 用 于 编辑 cron 表 : 






































$ crontab -e 
02 02 * * * /home/slynux/script.sh 


输入 crontab -e 后 ， 会 打开 默认 的 文本 编辑 器 (通常 是 vi ) 供用 户 输入 cron 作 业 (cron 
job ) 并 保存 。 该 cron 作 业 将 会 在 指定 的 时 间 被 调度 执行 。 


(6) 可 以 在 脚本 中 调用 crontab， 使 用 新 的 cron 表 替换 原 有 的 。 具 体 做 法 如 下 。 


口 创建 一 个 文本 文件 ( 例如 task.cron )， 写 人 cron 作 业 后 将 文件 名 作为 crontab 命 令 的 
参数: 











$ crontab task.cron 

口 或 者 直接 在 行内 (inline ) 指定 cron 人 作业， 不 再 单独 创建 文件 。 例 如 : 
$ crontab<<EOF 
02 * * * * /home/slynux/script.sh 


EOF 


cron 作 业 需 要 写 在 crontab<<EOF 和 EOF 之 间 。 











10.8.3 ”工作 原理 


星 号 (* ) 指定 命令 应 该 在 每 个 时 间 单 位 上 执行 。 也 就 是 说 ， 如 果 * 出 现在 cron 作 业 中 的 小 
时 字段 , 那么 命令 就 会 每 小 时 执行 一 次 。 如 果 你 希望 在 多 个 时 段 执行 命令 , 那么 就 在 对 应 的 时 间 
字段 中 指定 时 间 间 隔 ， 彼 此 之 间 用 逗号 分 隔 〈 例如 要 在 第 5 分 钟 和 10 分 钟 时 运行 命令 ， 那 就 在 分 
钟 字段 中 输入 5,10 )。 和 斜 线 ( 除 号 ) 可 以 让 我 们 以 特定 的 时 间 间 隔 运 行 命令 。 例 如 ， 分 钟 字段 中 
出 现 的 0-30/5 会 在 每 前 半 小 时 内 ， 隔 5 分 钟 执行 一 次 命令 。 小 时 字段 中 出 现 的 */12 会 每 隔 12 小 
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时 执行 一 次 命令 。 
执行 cron 作 业 所 使 用 的 权限 同 创建 crontab 的 用 户 的 权限 相同 。 如 果 你 需要 执行 要 求 更 高 
权限 的 命令 ,例如 关闭 计算 机 ， 那 么 就 要 以 root 用 户 身份 执行 crontap 命 令 。 
在 czon 作 业 中 指定 的 命令 需要 使 用 完整 路 径 。 这 是 因为 cron 并 不 会 执行 用 户 的 .bachrc， 所 
以 执行 czon 作 业 时 的 环境 与 终端 所 使 用 的 环境 不 同 ， 环 境 变量 PATH 可 能 都 没有 设置 。 如 果 命 令 
运行 时 需要 设置 某 些 环境 变量 ， 必 须 明 确 地 进行 设 定 。 


























10.8.4 补充 内 容 

crontab 命 令 还 包括 其 他 一 些 选项 。 

1. 指定 环境 变量 

很 多 命令 需要 正确 地 设置 环境 变量 才能 够 运行 。 cron 命 令 会 将 SHELL 变 量 设置 为 /bin/sh， 
还 会 根据 /etc/passwd 设 置 LOGNAME 和 HOME。 如 果 还 需要 其 他 的 环境 变量 ， 可 以 在 crontab 中 
定义 。 环 境 变 量 可 以 针对 所 有 作业 设置 ， 也 可 以 针对 个 别 作业 设置 。 

如 果 定 义 了 环境 变量 MAILTO，cron 就 可 以 通过 电子 邮件 将 命令 输出 发 送 给 用 户 。 

crontab 通 过 在 用 户 的 cron 表 中 插入 一 行 变量 赋值 语言 来 定义 环境 变量 。 

下 面 的 crontab 定 义 了 环境 变量 http_proxy， 以 便于 使 用 代理 服务 器 访问 Internet: 

http_proxy=http://192.168.0.3:3128 


MAILTO=user@Qexample.com 
00 * * * * /home/slynux/download.sh 


Debian 、Ubunto 和 CentOS 发 行 版 中 的 vixie-cron 支 持 这 种 格式 。 对 于 其 他 发 行 版 ， 可 以 针 
对 每 个 命令 设置 环境 变量 : 


O00 Rs Ittp proxy=http:192.16840.2:3128: 
/home/sylinux/download.sh 


2. 在 系统 启动 时 运行 命令 


有 时 候 需 要 在 系统 启动 时 运行 特定 的 命令 。 有 些 cron 实 现 支 持 @reboot 字 段 ， 可 以 在 重启 
过 程 中 执行 作业 。 注 意 ， 并 不 是 所 有 的 cron 实 现 都 支持 这 种 特性 ， 在 一 些 系 统 中 ， 只 有 root 用 户 
可 以 这 样 做 。 现 在 检查 下 面 的 代码 : 



































@reboot command 


这 样 就 会 以 你 的 用 户 身 份 在 重启 时 运行 指定 的 命令 。 
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3. 查看 cron 表 
选项 -1 可 以 列 出 当前 用 户 的 cron 表 : 


$ crontab -1 
02 05 * * * /home/user/disklog.sh 


选项 -u 可 以 查看 指定 用 户 的 cron 表 。 必 须 以 root 用 户 的 身份 使 用 该 选项 : 








$ crontab -1 -u slynux 
09 10 * * * /home/slynux/test.sh 


4. 删除 cron 表 
选项 -r 可 以 删除 当前 用 户 的 cron 表 : 





$ crontab -r 


选项 -u 可 以 删除 指定 用 户 的 cron 表 。 必 须 以 root 用 户 的 身份 执行 该 操作 : 





# crontab -u slynux -r 


10.9 数据 库 的 形式 及 用 法 


Linux 支 持 很 多 不 同形 式 的 数据 库 ， 从 简单 的 文本 文件 ( /etc/passwd )、 低 层 的 B 树 数据 库 
(Berkey DB 和 bdb )、 轻 量 级 的 SQL ( sqlite ) 到 全 功能 的 关系 型 数据 库 ( 如 Postgres 、Oracle 和 
MySQL )。 











选择 数据 库 形式 的 一 个 经 验 法 则 就 是 选择 能 够 满足 你 工作 需要 的 最 简单 的 那 种 数据 库 。 对 于 
字段 已 知 且 固定 的 小 型 数据 库 而 言 ， 文 本 文件 加 上 grep 就 足够 了 。 

有 些 应 用 要 用 到 引用 。 例如 ,包含 图 书 和 作者 的 数据 库 应 该 创建 两 个 数据 表 ， 一 个 表 保存 图 
书信 息 ， 男 一 个 表 保存 作者 信息 ， 这 样 可 以 避免 作者 信息 的 重复 出 现 。 

如 果 数 据 表 的 读 取 操 作 远 多 于 写 操作 , 那么 SQLite 是 一 个 不 错 的 选择 。 这 种 数据 库 引擎 不 需 
要 服务 器 ， 因 此 便于 移植 ， 易 于 舱 入 到 其 他 应 用 中 ( 例如 Firefox )。 


如 果 数 据 表 会 被 多 个 任务 频繁 修改 ( 例如 网 店 的 库存 系统 )， 那 么 应 该 选择 一 种 关系 型 数据 
库 ， 例 如 Postgres 、Oracle 或 MySQL。 
































10.9.1 预备 知识 


可 以 使 用 标准 的 shell 工 具 创建 基于 文本 的 数据 库 。SQLite 通 常 都 已 经 默认 安装 好 了 ， 可 执行 
文件 是 sqlite3 。 你 还 需要 安装 MySQL 、Oracle 和 Postgres。 下 一 节 会 讲解 如 何 安装 MySQL。Oracle 
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要 从 www.oracle.com 下 载 。Postgres 可 以 通过 包 管 理 器 安装 。 


10.9.2 ”实战 演练 


隔 。 


文本 文件 数据 库 使 用 常见 的 shell 工 具 就 可 以 创建 。 


要 想 生 成 地 址 列表 ,可 以 创建 一 个 文件 , 其 中 每 一 行 是 一 个 地 址 , 字段 之 间 用 特定 的 字符 分 
在 这 个 例子 中 ,我 们 选用 波浪 号 (~): 


first last~Street~City, State~Country~Phone~ 








例如 : 


Joe User~123 Example Street~AnyTown, District~1-123-123-1234~ 


然后 编写 一 个 函数 来 查找 出 匹配 模式 的 地 址 行 ， 并 将 其 转换 成 可 读 性 好 的 格式 : 

















Eunction addr { 
grep $1 $HOME/etc/addr.txt | sed 's/~/\n/g' 
} 


输出 结果 如 下 : 


$ addr Joe 

Joe User 

123 Example Street 
AnyTown District 
1-123-123-1234 


10.9.3 ”补充 内 容 


SQLite 、Postgres 、Oracle 和 和 MySQL 提供 了 称 之 为 关系 的 数据 库 范式 。 关 系 型 数据 库 保存 了 


表 与 表 之 间 的 关系 ， 比 如 图 书 与 其 作者 之 间 的 关系 。 

















处 理 关系 型 数据 库 的 常见 方式 是 使 用 SQL。SQLite 、Postgres 、Oracle、MySQL 以 及 其 他 数据 











库 引 擎 都 支持 这 种 语言 。 

SQL 的 内 容 非 常 丰富 。 你 可 以 阅读 一 些 相关 的 专著 。 好 在 我 们 只 需要 掌握 几 个 命令 就 可 以 有 
效 地 使 用 SQL 了 。 

1. 创建 表 


CREATE _ TABLE 命令 可 以 定义 数据 表 











CREATE TABLE tablename (fieldl typel, field2 type2,...); 


下 面 的 命令 创建 了 一 个 包含 书 名 和 作者 的 数据 表 : 
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CREATE TABLE book (title STRING, author STRING); 

2. 插入 记录 

insert 命 令 可 以 向 表 中 插入 一 条 记录 : 

INSERT INTO table (columns) VALUES (vall, val2,...); 
下 面 的 命令 会 将 你 现在 正在 读 的 这 本 书 插入 到 book 表 中 : 


INSERT INTO book (title, author) VALUES ('Linux Shell Scripting 
Cookbook', 'Clif Flynt'); 


3. 查询 记录 

select 命 令 可 以 选择 符合 条 件 的 所 有 记录 : 

SELECT fields FROM table WHERE test; 
下 面 的 命令 会 从 book 表 中 选择 包含 单词 Shell 的 书 名 : 


SELECT title FROM book WHERE title like '%Shell%'; 





10.10” 读 写 SQLite 数据 库 


SQLite 是 一 种 轻 量 级 数据 库 引 擎 ， 广 泛 用 于 各 种 应 用 ， 从 安 卓 APP 、Firefox 到 美国 海军 装备 
系统 。 因 此 ， 采 用 SQLite 的 应 用 程序 相对 于 其 他 数据 库 要 更 多 。 


SQLite 数 据 库 就 是 单个 文件 ,不 同 的 数据 库 引 擎 都 可 以 访问 该 文件 。SQLite 数 据 库 引 擎 是 一 
个 可 以 链接 到 应 用 程序 的 C 代 码 库 ， 它 能 够 以 库 的 形式 载 人 到 脚本 语言 中 (例如 TCL 、Python 或 
Perl )， 也 可 以 作为 独立 的 程序 运行 。 


在 shell 脚 本 中 ， 最 简单 的 用 法 是 使 用 独立 的 程序 

































































sqlite3。 





10.10.1 预备 知识 


你 的 Linux 系 统 中 可 能 并 没有 安装 sal ite3 可 执行 文件 。 可 以 使 用 包 管 理 器 安装 sal ite3 软 
件 包 。 


对 于 Debian 和 Ubuntu， 使 用 下 列 命令 : 





apt-get install sqlite3 libsqlite3-dev 
对 于 Red Hat、SuSE 、Fedora 和 Centos， 使 用 下 列 命令 : 


yum install sqlite sqlite-devel 
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10.10.2 ”实战 演练 


sqlite3 是 一 个 交互 式 数据 库 引 擎 ， 它 能 够 连接 到 SQLite 数 据 库 ， 支 持 创 建 表 、 插 入 数据 、 
查询 表 等 功能 。 


sqlite3 的 语法 如 下 : 








sqlite3 databasename 


如 果 数 据 库 文件 databaseName 已 经 存在 ，sqlite3 会 打开 该 文件 。 如 果 文 件 不 存在 ， 
sqlite3 则 会 创建 一 个 空 数据 库 。 在 这 里 ,我 们 将 生成 一 个 数据 表 ， 向 其 中 插入 一 条 记录 ,然后 
再 检索 出 一 条 记录 : 


# 创 建 数据 库 books 

$ sqlite3 books .db 

sqlite> CREATE TABLE books (title string, author String) 
sqlite> INSERT INTO books (title, author) VALUES ('Linux Shell 
Scripting Cookbook', 'Clif Flynt'); 

sqlite> SELECT * FROM books WHERE author LIKE '%Flynt%'; 

Linux Shell Scripting Cookbook|Clif Flynt 





























10.10.3 ”工作 原理 
sqlite3 创 建 了 一 个 名 为 books .db 的 空 数据 库 , 然 后 显示 出 提示 符 sqlite> ,等 待 接受 SQL 


(e) 


命令 
CREATE TABLE 命 令 创 建 的 数据 表 包 含 两 个 字段 : title 和 author。 

INSERT 命 令 向 books 表 中 插入 了 一 条 记录 。 在 SQL 中 ， 字 符 串 是 使 用 单 引 号 分 隔 的 。 

SELECT 命令 可 以 检索 到 符合 条 件 的 记录 。 百 分 号 (s ) 在 SQL 中 用 作 通 配 符 , 作用 类 似 于 shell 

中 的 星 号 (* )。 


10.10.4 “补充 内 容 | 


shell 脚 本 可 以 使 用 sqlite3 访 问 数据 库 并 提供 一 个 简单 的 用 户 接口 。 接 下 来 的 脚本 使 用 
sqlite 实 现 了 之 前 那个 采用 文本 文件 形式 的 地 址 数据 库 。 该 脚本 提供 了 3 个 命令 。 


口 init: 创建 数据 库 。 
D insert: 添加 一 条 新 记录 。 
口 query: 选择 匹配 的 记录 。 
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具体 用 法 如 下 : 


$> dbaddr.sh init 

$> dbaddr.sh insert 'UJoe User' '123-1234' 'user@example.com' 
$> dbaddr.sh query name Joe 

Joe User 

123-1234 

user@Qexample.com 


以 下 是 脚本 的 实现 代码 : 


#!/bin/bash 
# 根据 第 一 个 参数 创建 命令 





case $1 in 
init ) 
cmd="CREATE TABLE address \ 
(name string, phone string, email string);" };; 
query ) 
cmd="SELECT name, phone, email FROM address \ 
WHERE .$2 LIKE "S93 wy 


insert ) 
cmd="INSERT INTO address (name, phone, email) \ 
VALUES. (y TO PHBT TH) 
esac 


# 将 SOL 命令 发 送 给 sqlite3 并 重新 格式 化 输出 
echo Scmd | sqlite3 S$HOME/addr.db | sed 's/|/\n/g' 


上 面 脚本 利用 case 语 句 生 成 SQL 命 令 ， 然 后 将 该 命令 传 给 sqlite3 执 行 。s1、s2、s$3 和 $4 分 别 
对 应 脚本 的 前 4 个 参数 。 


10.11 读 写 MySQL 数据 库 


MySQL 是 一 款 应 用 广泛 的 数据 库 管 理 系统 。2009 年 ，Oracle 收 购 了 SUN, 连带 的 还 有 MySQL 
数据 库 。MariaDB 是 MySQL 的 一 个 衍生 版 本 , 它 独立 于 Oracle。MariaDB 可 以 访问 MySQL 数 据 库 ， 
不 过 MySQL 引 擎 未 必 总 是 能 够 访问 MariaDB 数 据 库 。 

















MySQL 和 MariaDB 都 为 包括 PHP、Python 、C++、Tcl 在 内 的 很 多 语言 提供 了 接口 。 这 些 语言 
在 访问 数据 库 时 都 可 以 使 用 mysql 命 令 提供 交互 式 会 话 。 对 于 shell 脚 本 而 言 , 这 是 同 MySQL 打 交 
道 的 最 简单 的 方式 了 。 这 则 攻略 中 的 例子 可 以 适用 于 MySQL 或 MariaDB。 


bash 脚 本 可 以 将 文本 文件 或 CSV ( Comma Separated Value， 逗 号 分 隔 值 ) 文件 的 内 容 转 换 成 
MySQL 数 据 表 和 记录 。 例如 , 我 们 可 以 从 shell 脚 本 中 执行 查询 语句 来 读 取 存储 在 留言 板 数 据 库 中 
的 所 有 电子 邮件 地 址 。 


在 接 下 来 的 脚本 中 会 演示 如 何 将 文件 内 容 插入 到 数据 表 中 并 生成 系 部 学 生 的 排名 报告 。 
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10.11.1 ”预备 知识 


在 以 基础 模式 安装 的 Linux 发 行 版 中 ， 可 能 并 不 包含 MySQL 和 MariaDB。 可 以 自行 安装 
mysql-server 和 mysql-client，, 或 是 mariadb-server 软 件 包 。MariaDB 使 用 mysal 作 为 命 
令 ， 有 时 在 安装 MySQL 的 时 候 也 会 一 并 将 其 安装 。 





























MySQL 需 要 使 用 用 户 名 和 密码 进行 认证 ， 在 安装 过 程 中 需要 设置 密码 。 


安装 完成 之 后 ， 可 以 开始 通过 mysal 命 令 创 建新 的 数据 库 。 使 用 CREATE DATABASE 命 令 建 
立 好 数据 库 之 后 ，use 命 令 可 以 选用 该 数据 库 。 选 中 之 后 就 可 以 使 用 标准 的 SQL 命令 创建 数据 表 
并 插入 数据 了 : 
































$> mysql -user=root -password=PASSWORD 

Welcome to the MariaDB monitor. Commands end with ; or \g. 
Your MariaDB connection id is 44 

Server version: 10.0.29-MariaDB-0+deb8ul (Debian) 


Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others. 


Type 'help;' or '\h' for help. Type '\c' to clear the current input 
statement. 


MariaDB [(none)]> CREATE DATABASE testl1l; 
Query OK, 1 row affected (0.00 sec) 


MariaDB [(none)]> use test1l; 


quit 命 令 或 Ctrl-D 可 以 终 I 上 mysql 交 互 会 话 。 


10.11.2 ”实战 演练 
我 们 接 下 来 要 编写 3 个 脚本 ,分 别 用 于 创建 数据 库 及 数据 表 、 向 数据 表 中 插入 学 生 数 据 、 从 
数据 表 中 读 取 并 显示 数据 。 


创建 数据 库 及 数据 表 的 脚本 如 下 : 


#!/bin/bash 
# 文 件 名 : create_db.sh 
# 用 途 : 创建 MySQL 数 据 库 和 数据 表 











USER=" use " 
PASS= "USsez " 


mysql -u SUSER -pS$PASS <<EOF 2> /dev/null 
CREATE DATABASE students; 
EOF 


[ $? -eq 0 ] && echo Created DB || echo DB already exist 
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mysql -u SUSER -PSPASS students <<EOF 2> /dev/null 
CREATE TABLE students ( 

Td Tt 

name varchar (100), 

mark int, 

dept varchar (4) 

); 

EOF 


[ $? -eq 0 ] && echo Created table students || \ 
echo Table students already exist 


mysql -u SUSER -PSPASS students <<EOF 
DELETE FROM students; 
EOF 


将 数据 插入 数据 表 的 脚本 如 下 : 


#!/bin/bash 
# 文 件 名 : write_to_db.sh 
# 用 途 : 从 CSV 中 读 取 数 据 并 写 入 MySQL 数 据 库 


USER="uSer" 
PASS="UsSer" 


if [ S# -ne 1 ]; 
then 
echo $0 DATAFILE 
echo 
exit 2 
下 证 


data=$1 


while read line; 
do 


OldIFS=$IFS 


ESS, 

values= ($line) 

values[1]="\"‘echo S${values[1]} | tr '#r SA\"" 
values[3]="\"‘echo ${values[3]} \"" 


query= echo S${values[@]} | tr ' #' ', 
IFS=$SoldIFS 


mysql -u SUSER -PSPASS students <<EOF 
INSERT INTO students VALUES ($query); 
EQF 


done< S$data 
echo Wrote data into DB 
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数据 库 查 询 脚 本 如 下 : 


!/bin/bash 
文件 名 : read_db.sh 
用 途 : 读 取 数据 库 


USER="user" 
PASS="usSer" 





depts= ‘mysql -u SUSER -pS$PASS students <<EOF | tail -n +2 
SELECT DISTINCT dept FROM students; 
EOF、 


for d in $depts; 
do 


echo Department : $d 


result="‘mysql -u SUSER -pS$PASS students <<EOF 

SET @i:=0; 

SELECT @i:=@i+l as rank,name,mark FROM students WHERE dept="$d" ORDER BY 
mark DESC; 

EOF " 


echo "$result" 
echo 


done 


作为 输入 的 CSV 文 件 ( studentdata.csv ) 内 容 如 下 : 


1,Navin M,98,CS 
2,Kavya N,70,CS 
3,Nawaz 0,80,CS 
4,Hari S,80,EC 
5,Alex M,50,EC 
6,Neenu J,70,EC 
7,Bob A,30,EC 

8,Anu M,90,AE 

9,Sruthi, 89,AE 
10,Andrew, 89,AE 


按照 以 下 顺序 执行 脚本 : 


$ ./create db.sh 
Created DB 
Created table students 





$ ./write to db.sh studentdat.csv 
Wrote data into DB 


$ ./read db.sh 
Department : CS 
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rank name 


1 Navin M 98 
2 Nawaz O 80 
3 Kavya N 70 


Department : 
rank name 


1 Hari S 80 
2 Neenu J 70 
3 Alex M 50 


4 Bob A 


Department : 
rank name 
1 Anu M 


2 Sruthi 89 
3 Andrew 89 


10.11.3 ”工作 原理 


第 一 个 脚本 create_ db.sh 用 来 创建 数据 库 students 以 及 其 中 的 数据 表 students。mysal 命 令 用 于 
对 MySQL 数 据 库 进行 操作 。 该 命令 使 用 -u 指 定 用 户 名 ,用 -pPAsswoRD 指 定 密码 。 变 量 USER 和 





PASS 用 于 保存 用 户 名 和 密码 。 




















myscl 命 令 的 其 他 参数 就 是 数据 库 名 。 如 果 在 参数 中 给 出 了 数据 库 名 ， 就 使 用 该 数据 库 ; 否 
则 ， 需 要 使 用 use database_name 明 确 地 指定 要 使 用 的 数据 库 。 

mysql 命 令 通 过 标准 输入 ( stain ) 接受 查询 。 通 过 st gin 提供 多 行 输入 的 简便 方法 是 使 用 
<<EOF。 出 现在 <<EOF 和 EOF 之 间 的 文本 都 会 被 作为 标准 输入 传 给 mysal。 





在 CREAT 





定向 到 /dewnull。 脚 本 通过 检查 








E DATABASE 和 CREATE TABL 



































EB 语句 中 ， 为 了 避免 显示 错误 信息 ， 我 们 将 staerr 重 


ysql 命 令 保 存在 变量 $s? 中 的 退出 状态 来 确定 是 否 出 现 错误 。 它 


假定 错误 原因 是 因为 同名 的 数据 库 或 数据 表 已 经 存在 。 如 果 存 在 ， 则 会 显示 出 一 条 提示 信息 ; 否 
则 ， 就 进行 创建 。 


脚本 write_to_db.sh 接 受 包含 学 生 数 据 的 CSV 文 件 名 。 我 们 用 whi le 循环 读 取 CSV 文 件 的 每 一 
行 。 在 每 次 迭代 中 ，, 读 取 CSV 文 件 中 的 一 行 并 将 其 重新 格式 化 成 SQL 命 令 。 肢 本 将 行 中 以 逗号 分 
隔 的 数据 保存 到 数组 中 。 数 组 赋值 的 形式 为 array= (val1l val2 val3)， 其 中 的 空格 是 作为 内 
部 字段 分 隔 符 (Internal Field Separator，IFS ) 出 现 的 。 因 为 CSV 中 的 文本 行使 用 去 号 分 隔 数据 ， 
所 以 只 需要 将 IFS 修 改 成 逼 号 (IFS=，)， 就 可 以 轻松 地 将 这 些 值 放 进 数组 中 了 。 


文本 行 中 以 有 逗 号 分 隔 的 数据 项 分 别 是 ida 、name 、mark 和 department。id 和 mark 是 整数 ， 
和 ， 必 须 进 行 引 用 。 


而 name 和 和 department 





日 .> hd 








征 子 付 上 日 
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name 中 可 能 会 包含 空格 ,这 样 一 来 就 和 IFS 产 生 了 剖 罕 。 因 此 需要 将 name 中 的 空格 蔡 换 成 其 
他 字符 ( # )， 在 构建 查询 语句 时 再 替换 回来 。 

为 了 引用 字符 串 ， 数 组 中 的 值 要 加 上 \" 作为 前 级 和 后 级 。tr 用 来 将 name 中 的 空格 替换 成 #。 

最 后 , 通过 将 空格 蔡 换 成 逗号 , 将 # 蔡 换 成 空格 来 构造 出 查询 语句 并 执行 SQL 的 INSERT 语 句 。 

第 三 个 脚本 read_db.sh 用 来 生成 各 系 部 学 生 的 排名 列表 。 第 一 个 查询 用 来 找 出 各 系 的 名 称 。 
我 们 用 while 循 环 迭 代 每 个 系 部 ， 然 后 执行 查询 并 按照 成 绩 从 高 到 低 显 示 学 生 的 详细 信息 。sET 
@i :=0 是 一 个 SQL 构 件 (SQL construct )， 用 来 设置 变量 1=0。 在 每 一 行 中 ， 变 量 i 都 会 增加 并 作 
为 学 生 排名 来 显示 。 























10.12 用户 管理 脚本 


GNU/Linux 是 一 个 多 用 户 操作 系统 ， 多 个 用 户 可 以 同时 登录 并 执行 各 种 操作 。 管 理 任务 会 涉 
及 用 户 管理 ， 这 包括 为 用 户 设置 默认 shell、 为 组 添加 用 户 、 禁 用 用 户 、 添 加 新 用 户 、 删 除 用 户 、 
设置 密码 、 设 置 账户 有 效 期 等 。 这 则 攻略 由 在 编写 一 个 可 以 处 理 此 类 任务 的 用 户 管理 工具 。 




















10.12.1 ”实战 演练 
该 脚本 能 够 执行 常见 的 用 户 管理 任务 : 


#!/bin/bash 
# 文 件 名 : user_aaqm.sh 
# 用 途 : 用 户 管理 工具 


function usage() 
{ 
echo Usage: 
echo Add a new user 
echo $0 -adduser username password 
echo 
echo Remove an existing user 
echo $0 -deluser username 
echo 
echo Set the default shell for the user 
echo $0 -shell username SHELL_ PATH 
echo 
echo Suspend a user account 
echo $0 -disable username 
echo 
echo Enable a suspended user account 
echo $0 -enable username 
echo 
echo Set expiry date for user account 
echo $0 -expiry DATE 
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echo Change password for user account 
echo $0 -passwd username 


echo Create a new user group 
echo $0 -newgroup groupname 


echo Remove an existing user group 
echo $0 -delgroup groupname 


echo Add a user to a group 
echo $0 -addgroup username groupname 


echo Show details about a user 
echo $0 -details username 


echo Show usage 
echo $0 -usage 





if [ SUID -ne 0 ]; 
then 
echo Run $0 as root. 
Kit 这 
£1i 


case $1 in 


-adduser) [ S# -ne 3 ] && usage ; useradd $2 -p $3 -m ;; 
-deluser) [ S# -ne 2 ] && usage ; deluser $2 --remove-all-files;; 
-shell) [ S# -ne 3 ] & usage ; chsh $2 -s $3 );; 
-disable) [ S# -ne 2 ] && usage ; usermod -L $2 );; 
-enable) [ S$# -ne 2 ] && usage ; usermod -U $2 ，); 
-expiry) [ S$# -ne 3 ] && usage ; chage $2 -E $3 ;; 
-passwd) [ S# -ne 2 ] && usage ; passwd $82 ;;} 
-newgroup) [ S$# -ne 2 ] && usage ; addgroup $2 );; 
-delgroup) [ S# -ne 2 ] && usage ; delgroup $2 );; 
-addgroup) [ S# -ne 3 ] && usage ; addgroup $2 $3 };;} 
-details) [ S# -ne 2 ] && usage ; finger $2 ; chage -1 $2 );; 
-usSage) usage ;; 
*) Age 373 

esac 


输出 如 下 : 


# ./user adm.sh -details test 

Login: test Name: 

Directory: /home/test Shell: /bin/sh 

Last login Tue Dec 21 00:07 (IST) on pts/l1 from localhost 
No mail. 

No Plan. 
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Last password change : Dec 20, 2010 

Password expires : never 

Password inactive : never 

Account expires : Oct 10, 2010 

Minimum number of days between password change 和 :只 
Maximum number of days between password change : 99999 
Number of days of warning before password expires :7 


10.12.2 ”工作 原理 


脚本 user adm.sh 可 以 用 来 执行 多 种 常见 的 用 户 管 理 任务 。 如 果 用 户 给 出 的 参数 不 正确 或 是 使 
用 了 选项 -usage， 函 数 usage () 会 显示 出 脚本 的 用 法 。case 语 句 负责 解析 命令 行 参数 并 根据 参 
数 执行 相应 的 命令 。 


脚本 user adm.sh 有 效 的 命令 选项 是 : -adduser、-deluser、-shell、-disable、-enable、 
-expriy、-passwd、-newgroup、-delgroup、-addgroup、-details 和 -usage。 如 果 匹 


配 的 是 *) 分 支 ， 那 就 意味 着 用 户 输入 了 错误 的 选项 ， 因 此 要 调用 usage () 。 
该 脚本 需要 以 root 身 份 运行 。 在 检查 参数 之 前 ， 脚 本 会 验证 用 户 ID 〈root 的 用 户 ID 是 0 )。 


如 果 匹 配 了 某 个 参数 ，[ s# -ne 3 ] && usage 会 检查 参数 的 个 数 。 如 果 命 令 参 数 个 数 不 
符合 要 求 ， 则 调用 函数 usage () 并 退出 脚本 。 


脚本 支持 的 选项 如 下 。 
口 -useradd:; 使 用 useradq 命 令 来 创建 新 用 户 。 



































useradd USER -p PASSWORD -m 


口 -m 选 项 用 来 创建 home 目 录 。 
口 -deluser: 使 用 aeluser 命 令 来 删除 用 户 。 











deluser USER --remove-all-files 


口 --remove-all-files 选 项 可 以 删除 与 用 户 相 关 的 所 有 文件 ， 包 括 home 目 录 。 
口 -shell: 使 用 chsh 命 令 来 修改 用 户 的 默认 shell。 











chsh USER -s SHELL 


口 -disable 和 -enable: 使 用 usermod 命 令 处 理 和 用 户 账户 相关 的 属性 。 usermod -L 
USER 和 和 usermod -U USER 分 别 用 来 锁定 和 解锁 用 户 账户 。 
口 -expiry: 使 用 chage 命 令 来 处 理 用 户 账户 的 过 期 信息 。 




















chage -E DATE 
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其 他 选项 包括 : 


-m MIN_DAYS (将 更 改 密码 的 最 小 天 数 修改 成 MIN_DAYS ); 
-M MAX_DAYS (设置 密码 有 效 的 最 大 天 数 ); 
-W -WARN_DAYS (设置 在 前 几 天 提醒 需要 更 改 密码 )。 


口 -passwd: 使 用 passwd 命 令 更 改 用 户 密码 。 








passwd USER 


命令 会 提示 输入 新 的 密码 。 





口 -newgroup 和 -addgroup: 使 用 addgroup 命 令 为 系统 添加 一 个 新 的 用 户 组 。 
addgroup GROUP 
如 果 加 上 一 个 用 户 名 ,会 将 该 用 户 添加 到 组 中 : 
addgroup USER GROUP 
口 -delgroup: 使 用 delgroup 命 令 删 除 一 个 用 户 组 。 
delgroup GROUP 


口 -details: 使 用 figer USER 命 令 显示 用 户 信 息 ， 其 中 包括 用 户 的 home 目 录 、 上 一 次 登 
录 的 时 间 、 默 认 shell 等 。chage -1 命令 会 显示 用 户 账户 的 过 期 信息 。 





























10.13 图 像 文件 的 批量 缩放 及 格式 转换 


我 们 大 家 都 会 从 手机 和 数码 相机 中 下 载 照片 。 在 通过 电子 邮件 发 送 图 片 或 是 将 其 发 布 在 网 上 
之 前 , 可 能 需要 调整 图 片 大 小 或 转换 格式 。 我们 可 以 使 用 脚本 来 批量 修改 这 些 图 片 。 这 则 攻略 将 
讨论 如 何 用 脚本 处 理 图 片 。 





















































10.13.1 预备 知识 


我 们 要 用 到 convert 命 令 ， 它 来 自 ImageMagick 软 件 包 ， 该 软件 包 中 包含 了 很 多 图 像 处 理工 
具 。 该 命令 支持 多 种 图 像 格 式 以 及 转换 选项 。 大 多 数 GNU/Linux 发 行 版 中 并 没有 预 装 Image 
Magick。 你 得 自己 手动 安装 。 更 多 的 信息 请 访问 www.imagemagick.org。 











10.13.2 ”实战 演练 
转换 图 像 格 式 : 


$ convert INPUT FILE OUTPUT FILE 
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例如 : 
$ convert filel.jpg file2.png 


我 们 可 以 通过 指定 缩放 比 或 输出 图 像 的 宽度 (WwIDTH ) 和 高 度 (HEIGHT ) 来 调整 图 像 : 





$ convert imageOrig.png -resize WIDTHxHEIGHT imageResized.png 
例如 : 
$ convert photo.png -resize 1024x768 wallpaper.png 
如 果 没 有 提供 wIDTH 或 HBEIGHT， 那 么 会 在 保留 图 像 比例 前 提 下 自动 计算 缺失 的 数值 : 


$ convert image.png -resize WIDTHx image.png 


例如 : 





$ _ convert :image.png -resize 1024x image.png 


指定 百分比 缩放 图 像 : 





$ convert image.png -resize "50%" image.png 
下 面 的 脚本 会 对 指定 目录 下 的 所 有 图 片 执行 一 系列 操作 : 


!/bin/bash 
文件 名 : image_help.sh 
用 途 : 图 像 管理 脚本 





if [ S$# -ne 4 -a S$S# -ne 6 -a S$# -ne 8 ]; 
then 

echo Incorrect number of arguments 

& 交 旋 汉 


[1 





while [ S$# -ne 0 ]; 
do 


case $1 in 

-source) shift; source dir=$1 ; shift ;; 
-Scale) shift; ‘ScaLle=$1 » Shift. »:» 
-percent) shift; percent=$1 ; shift ;; 
-dest) shift ; dest_ dir=$1 ; shift ;; 
Et Bift 3 ext=dl 3 BHRIttE 3 

*) echo Wrong parameters; exit 2 ;; 
esac; 


done 
for img in ‘echo S$source dir/*、 ， 


do 
source_file=$img 








Tf ne Sext 1 
then 
dest_file=${img%.*}.Sext 
else 
dest_file=$img 
下 
if [[ -n $dest_dir ]]; 
then 


dest_file=${dest_file##*/} 
dest_file="$dest_dir/s$dest_file" 


fi 

if [[ -n $scale ]]; 

then 
PARAM="-resize Sscale" 

elif [[ -n S$percent ]]; then 
PARAM="-resize Spercent%" 

下 下 


echo Processing file : S$source_ file 
convert S$source_ file S$SPARAM Sdest_file 


done 
将 上 日 录 sample_dir 中 的 图 片 调整 到 原来 的 20%: 


$ ./image help.sh -source sample dir -percent 20% 
Processing file :sample/IMG 4455.JPG 
Processing file :sample/IMG 4456.JPG 
Processing file :sample/IMG 4457.JPG 
Processing file :sample/IMG 4458.JPG 


将 图 像 宽度 调整 到 1024 像 素 : 
$ ./image help.sh -source sample dir -Scale 1024x 
将 文件 缩放 或 转换 到 指定 的 目录 : 


# newdir 作 为 目的 目录 


$ ./image help.sh -source sample -scale 50% -ext png -dest newdir 





10.13.3 ”工作 原理 
脚本 image help.sh 可 以 接受 以 下 参数 。 


口 -source: 指定 图 像 源 目录 。 

口 -aest : 指定 转换 后 的 文件 的 目的 目录 。 如 果 没 有 指定 该 选项 , 则 目的 目录 和 源 目录 相同 。 
口 -ext: 指定 目标 文件 格式 。 

口 -percent: 指定 缩放 比例 。 











口 -scale: 指定 缩放 宽度 与 高 度 。 

选项 -p rcent 与 -scale 不 能 同时 出 现 ， 只 能 使 用 其 中 之 一 。 

脚本 首先 会 检查 命令 行 参 数 的 数量 ， 可 以 出 现 的 参数 数量 分 别 是 4、6 或 8。 

while 循 环 和 case 语 句 负 责 解析 命令 行 参数 并 分 配给 相应 的 变量 。$# 是 一 个 特殊 变量 , 它 保 
存 了 命令 行 参数 的 数量 。shift 命 令 每 执行 一 次 ， 就 将 命令 行 参数 向 左 移 动 一 个 位 置 ， 这 样 我 们 
就 不 需要 再 使 用 $1、$s2、s3..., 一 个 $1 就 足够 访问 到 所 有 的 命令 行 参数 了 。 

case 语 句 和 C 语 言 中 的 switch 语 句 一 样 。 如 果 匹 配 了 某 个 case 分 支 ， 就 执行 对 应 的 语句 。 
一 个 case 分 支 都 以 ; ;作为 结 o 一 旦 将 所 有 的 参数 都 解析 到 变量 percent 、Scale, source_ dir.、 
ext 和 dest_gir 中 ， 就 用 for 循 环 迭 代 源 目录 中 的 每 一 个 文件 并 执行 转换 操作 。 

在 for 循 环 中 还 要 完成 一 些 测试 ， 以 便 对 转换 过 程 做 一 些微 调 。 

如 果 变 量 ext 已 定义 (也 就 是 说 在 命令 行 中 提供 了 选项 -ext )， 就 将 目标 文件 的 扩展 名 从 
source_file.extension 更 改 为 source_file.$ext。 

如 果 提 供 了 选项 -aest， 则 使 用 目的 目录 替换 源 路 径 中 的 目录 。 

如 果 指 定 了 -scale 或 -percent， 将 缩放 参数 ( -resize widthx 或 -resize percs ) 添 
加 到 命令 中 。 


参数 构造 完毕 之 后 ， 使 用 这 些 参数 执行 convert 命 令 。 


























10.13.4 “参考 
2.12 节 讲解 了 如 何 提取 部 分 文件 名 。 














10.14 ”终端 截图 


随 着 GUI 应 用 的 普及 ,无 论 是 对 于 操作 的 文档 化 ， 还 是 对 于 故障 结果 的 报告 ,截图 都 成 为 了 
一 项 重要 的 内 容 。Linux 支 持 多 种 抓 图 工具 。 








10.14.1 ”预备 知识 


本 节 要 讲解 xwd 应 用 以 及 一 个 取 自 ImageMagick 的 工具 ， 在 上 一 个 攻略 中 曾经 用 到 过 
ImageMagick。xwd 应 用 已 经 随 基础 GUI (base GUI ) 安装 好 了 。ImageMagick 可 以 使 用 软件 包 管 
理 絮 自行 安装 。 


只 
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10.14.2 ”实战 演练 


xwd 会 提取 窗口 的 可 视 化 信息 并 将 其 转换 为 X Window Dump 格 式 ， 然 后 把 数据 输出 到 
stdout。 我 们 可 以 将 这 些 输出 重 定向 到 男 一 个 文件 中 ,使 用 之 前 讲 过 的 方法 将 该 文件 转换 成 GIF 、 
PNG 或 JPEG 格 式 。 











调用 xwd 时 ， 鼠 标 光标 会 变 成 十 字形 。 移 动 十 字 光 标 到 某 个 X 窗 口上 并 点 击 鼠 标 ， 就 可 以 
这 个 窗口 截图 了 : 
$ xwd >stepl .xwd 
ImageMagick 中 的 import 命 令 支 持 更 多 的 截图 选项 。 
(1) 截取 整个 屏幕 : 
$ import -window root Screenshot .png 
(2) 手动 截取 部 分 区 域 ; 
$ import screenshot .png 
(3) 截取 特定 窗口 : 
$ import -window window id screenshot .png 


命令 xwininfo 会 返回 窗口 D (window_ig )。 执 行 该 命令 ， 点 击 你 想 要 截取 的 窗口 ， 然 后 
将 得 到 的 windqow_idq 传 递 给 import 命 令 的 -winaqaow 选 项 。 





10.15 ”集中 管理 多 个 终端 

对 于 那些 需要 长 期 运行 的 应 用 ，SSH 会 话 、Konsole 以 及 xterms 都 属于 重量 级 的 解决 方案 , 但 
是 它们 并 不 经 常 进行 检查 ( 例如 监视 日 志文 件 或 磁盘 使 用 情况 )。 

GNU screen 工 具 可 以 在 单个 终端 会 话 中 创建 多 个 虚拟 屏幕 ( virtual screen )。 在 一 个 虚拟 屏 
幕 中 启动 的 任务 可 以 在 该 屏幕 隐藏 的 情况 下 继续 运行 。 



































10.15.1 ”预备 知识 


在 这 里 ， 我 们 要 用 到 一 款 叫 作 GNU screen 的 工具 。 如 果 你 使 用 的 发 行 版 中 默认 没有 安装 该 
工具 ， 请 使 用 软件 包 管 理 器 自行 安装 : 


apt-get install screen 
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10.15.2 ”实战 演练 


(1) 只 要 screen 创 建 了 一 个 新 窗口 ， 除 了 Ctrl-A( 表示 要 开始 一 个 screen 命 令 )， 所 有 的 击 

键 操作 都 会 进入 到 运行 在 该 窗口 中 的 任务 。 

(2) 创建 新 的 screen 窗 口 : 从 shell 中 运行 screen 命 令 就 可 以 创建 一 个 新 的 屏幕 。 你 会 看 到 一 
条 包含 该 屏幕 信息 的 欢迎 消息 。 按 空格 或 回 车 键 就 会 获得 一 个 shell 提 示 符 。 要 再 创建 另 
一 个 新 的 虚拟 终端 ， 按 下 Ctrl+A， 然 后 再 按 下 C〈 区 分 大 小 写 ) 或 是 重新 输入 screen。 

(3) 查看 已 打开 的 窗口 列表 : 在 运行 screen 时 , 按 下 Ctrl+A,， 然后 再 按 下 "， 就 可 以 列 出 终端 
会 话 。 

(4) 在 窗口 之 间 切 换 : 按 下 CtrlHA 和 Ctrl+N 可 以 切换 到 下 一 个 窗口 ， 按 下 Ctrlt+A 和 Ctrl+P 可 以 
切换 到 前 一 个 窗口 。 

(5) screen 会 话 的 附着 与 脱离 :screen 命 令 支 持 保存 并 载 人 screen 会 话 ， 用 screen 的 术语 来 
说 , 这 叫 作 脱离 ( detaching ) 与 附着 ( attaching )。 使 用 CtrlLHA 和 CtrlHD 可 以 脱离 当前 screen 
会 话 。 要 附着 到 一 个 已 有 的 screen 会 话 ， 可 以 使 用 : 









































screen -r -d 


(6) screen -r -d 命 令 可 以 附着 到 上 一 个 screen 会 话 。 如 果 已 脱离 的 会 话 不 止 一 个 ，screen 
会 输出 会 话 列 表 ， 然 后 可 以 使 用 下 面 的 命令 : 


Screen -r -d PID 


其 中 ，PID 是 你 想 附 着 到 的 screen 会 话 的 PID。 














本 章 内 容 

口 使 用 ccpdqump 跟 踪 分 组 口 使 用 strace 跟 踪 系 统 调用 
口 使 用 ngrep 查 找 分 组 口 使 用 1trace 跟 踪 动 态 库 函数 
口 使 用 ip 跟踪 网 络 路 由 





11.1 简介 





凡事 皆 有 痕迹 。 在 Linux 系 统 中 ， 我 们 可 以 通过 第 9 章 中 介绍 的 日 志文 件 跟踪 事件 ，top 命 令 
可 以 显示 出 CPU 占用 率 最 高 的 进程 ，watch、af 和 du 可 以 监视 磁盘 使 用 情况 。 

本 章 将 要 讲述 如 何 获取 有 关 网 络 分 组 、CPU 占 用 率 、 磁 盘 使 用 情况 以 及 动态 库 调 用 的 更 多 
信息 。 



































11.2 ”使 用 tcpdump 跟踪 分 组 


只 是 知道 哪个 应 用 程序 在 使 用 特定 的 端口 并 不 足以 跟踪 到 问题 所 在 。 有 时 候 还 需要 检查 传输 
的 数据 。 























11.2.1 ”预备 知识 


tcpdump 和 需要 以 root 身 份 运行 。 你 所 在 的 系统 可 能 默认 并 没有 安装 tcpaump。 可 以 使 用 包 管 
理 需 自行 安装 : 








$ sudo apt-get install tcpdump 
$ sudo yum install libpcaptcpdump 
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11.2.2 ”实战 演练 


tcpdump 是 Wireshark 以 及 其 他 网 络 嗅 探 程序 的 前 端 , 其 GUI 界 面 支持 大 量 的 选项 , 我 们 很 快 
就 会 讲 到 。” 


该 程序 的 默认 行为 是 显示 出 以 太 网 连接 上 的 所 有 分 组 。 分 组 显示 格式 如 下 : 
TIMESTAMP SRC_IP:PORT> DEST IP:PORT: NAME1 VALUE1, NAME2 VALUE2,... 


其 中 的 “名 称 - 值 (name-value )》” 包 括 以 下 几 个 。 
口 Flags: 分 组 所 具有 的 标志 如 下 。 


Ss 代表 SYN ( 发 起 连接 )。 

F 代 表 FIN (终止 连接 )。 

P 代 表 PUSH ( 推送 数据 )。 
R 代 表 RST ( 重 置 连接 )。 
点 号 .表示 没有 对 应 的 标志 。 


口 seq: 指 的 是 分 组 的 序列 号 。 这 个 序列 号 会 回 显 (echoed ) 在 ACK 中 来 确认 接收 到 的 分 组 。 
口 ack: 作用 是 确认 已 接收 到 某 个 分 组 。 这 个 值 是 上 一 个 分 组 的 序列 号 。? 
D win: 指明 了 目的 端的 缓冲 区 大 小 。 
口 options: 指明 了 分 组 中 定义 的 TCP 选 项 。 其 显示 形式 是 一 系列 以 逗号 作为 分 隔 符 的 “ 关 
键 字 - 值 ” 对 。 

下 面 的 输出 展示 了 从 Windows 主 机 发 往 SAMBA 服 务 器 的 请 求 ， 其 中 还 摊 杂 DNS 请 求 。 来 自 
不 同 源 以 及 应 用 的 各 种 分 组 混合 在 一 起 , 使 得 很 难 跟踪 特定 的 应 用 或 主机 的 流量 。 不 过 tcpdump 
命令 的 一 些 选项 能 够 减轻 我 们 的 负担 。 













































































$ tcpdump 

22:00:25.269277 IP 192.168.1.40.49182 > 192.168.1.2.microsoft-ds: Flags 
[P.], seq 3265172834:3265172954, ack 850195805, win 257, length 120SMB 
PACKET: SMBtrans2 (REQUEST) 


22:00:25.269417 IP 192.168.1.44.33150 > 192.168.1.7.domain: 13394+ PTR? 
2.1.168.192.in-addr.arpa. (42) 加 于 
22:00:25.269917 IP 192.168.1.2.microsoft-ds > 192.168.1.40.49182: Flags 


Qa 此 处 叙述 并 不 准确 。tcpdump 是 由 Van Jacobson、Sally Floyd、Vern Paxson 和 Steven McCanne 于 1988 年 编写 的 。 Wireshark 
的 前 身 是 Ethereal， 是 由 Gerald Combs 编 写 并 于 1998 年 发 布 的 。 尽 管 两 者 都 使 用 了 1ibcap 来 抓 取 网 络 分 组 ， 而 且 
Wireshark 可 以 浏览 Ecpaump 的 抓 取 结果 ， 但 它们 属于 不 同 的 网 络 嗅 探 工具 ， 并 不 是 前 后 端的 关系 。 详 见 : 
https:/en.wikipedia.org/wiki/Tepdump 、https:Wen.wikipedia.org/wiki/Wireshark 以 及 https:/wiki.wireshark.org/ libpcap。 

@) 此 处 关于 ACK 的 叙述 并 不 准确 。ACK 的 值 是 期 望 收 到 对 方 下 一 个 分 组 的 第 一 个 数据 字 节 的 序号 。 也 就 是 说 ， 如 果 
ACK=N， 则 表明 : 到 序号 N-1 为 止 的 所 有 数据 都 已 经 正确 接收 到 。 
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[.], ack 120, win 1298, length 0 


22:00:25.269927 IP 192.168.1.2.microsoft-ds > 192.168.1.40.49182: Flags 
[P.], seq 1:105, ack 120, win 1298, length 104SMB PACKET: SMBtrans2 (REPLY) 


如 果 不 想 在 终端 上 显示 tcpdump 的 输出 , 选项 -w 可 以 将 输出 发 送 到 文件 中 。 输出 格式 是 二 进 
制 格式 ， 可 以 使 用 选项 -z 读 取 。 嗅 探 分 组 需要 拥有 root 权 限 ， 但 是 显示 保存 在 文件 中 的 嗅 探 结果 
只 用 普通 用 户 权限 就 可 以 了 。 


默认 情况 下 ，tcpaump 会 一 直 执行 并 嗅 探 网 络 分 组 ， 直 到 按 下 Ctrl-C 或 发 送 SIGTERM 信 和 号 。 
选项 -c 可 以 限制 嗅 探 的 分 组 数 : 






























































# tcpdump -w /tmp/tcpdump.raw -c 50 

tcpdump: listening on eth0, link-type EN1OMB (Ethernet), capture size 65535 
bytes 

50 packets captured 

50 packets received by filter 

0 packets dropped by kernel 


作为 限制 ,我们 在 这 里 只 检查 单个 主机 或 是 单个 应 用 程序 的 活动 。 


tcpaump 命 令 行 中 尾部 的 值 可 以 作为 表达 式 ， 用 于 过 滤 分 组 。 表 达 式 由 多 个 “关键 字 - 值 ” 
以 及 修饰 符 和 布尔 操作 符 组 成 。 接 下 来 我 们 将 演示 一 些 过 滤器 的 用 法 。 


1. 只 显示 HTTP 分 组 
关键 字 port 可 以 只 显示 出 发 往 或 来 自 特 定 端口 的 分 组 : 





























$ tcpdump -r /tmp/tcpdump .raw port http 

reading from file /tmp/tcpdump.raw, link-type EN1O0MB (Ethernet) 
10:36:50.586005 IP 192.168.1.44.59154 > ord38s04-in-f3.1lel00.net.http: 
Flags [.], ack 3779320903, win 431, options [nop,nop,TSval 2061350532 ecr 
3014589802], length 0 


10:36:50.586007 IP ord38s04-in-f3.1lel00.net.http > 192.168.1.44.59152: 


Flags [.], ack 1, win 350, options [nop,nop,TSval 3010640112 ecr 
2061270277], length 0 


2. 只 显示 本 机 生成 的 HTTP 分 组 


如 果 你 打算 跟踪 所 使 用 的 Web 流 量 , 只 需要 查看 本 机 生成 的 HTTP 分 组 就 可 以 了 。scr 修 饰 符 
配合 特定 的 “关键 字 - 值 ”就 可 以 指定 源 文件 中 的 这 类 分 组 。dast 修 饰 符 可 以 指定 目的 地 址 : 


ml 








$ tcpdump -r /tmp/tcpdump.rawsrc port http 
reading from file /tmp/tcpdump.raw, link-type EN1O0MB (Ethernet) 


10:36:50.586007 IP ord38s04-in-f3.1lel00.net.http > 192.168.1.44.59152: 
Flags [.], ack 1, win 350, options [nop,nop,TSval 3010640112 ecr 
2061270277], length 0 

10:36:50.586035 IP ord38s04-in-f3.1lel00.net.http > 192.168.1.44.59150: 
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Flags [.], ack 1, win 350, options [nop,nop,TSval 3010385005 ecr 
2061270277], length 0 


3. 查看 分 组 载荷 (payload) 以 及 头 部 


如 果 你 想 追 查 在 网 络 中 滥 发 分 组 的 主机 ， 只 需要 查看 分 组 头 部 就 行 了 。 如 果 你 打算 调试 Web 
页 面 或 是 数据 库 应 用 ， 你 可 能 还 得 查看 分 组 的 内 容 。 


选项 -x 会 将 分 组 的 内 容 也 一 并 输出 。 
关键 字 hose 结 合 端 口 可 以 对 发 往 或 来 自 特定 主机 的 特定 端口 数据 进行 输出 限制 。 


andq 能 够 对 两 个 测试 条 件 执行 逻辑 与 操作 ， 使 得 Ecpdaump 只 输出 发 往 或 来 自 noucorp.com 的 
HTTP 数 据 。 下 面 的 例子 展示 了 一 个 GET 请 求 以 及 服务 器 的 回复 : 





























$ tcpdump -X -r /tmp/tcpdump .raw host noucorp .com and port http 

reading from file /tmp/tcpdump.raw, link-type EN1O0MB (Ethernet) 
11:12:04.708905 IP 192.168.1.44.35652 >noucorp.com.http: Flags [P.], seq 
2939551893:2939552200, ack 1031497919, win 501, options [nop,nop,TSval 
2063464654 ecr 28236429], length 307 


0x0000: 4500 0167 le54 4000 4006 70a5 c0a8 012c E..g.T@.@.p...., 
0x0010: 98a0 5023 8b44 0050 af36 0095 3d7b 68bf ..P#.D.P.6..={h. 
0x0020: 8018 01f5 abf1 0000 0101 080a Yafd f8ce ............ 已 
0x0030: 0lae da8d 4745 5420 2f20 4854 5450 2f31 ....GET./.HTTP/1 


0x0040: 2e31 0d0a 486f 7374 3a20 6e6f 7563 6f72 .1..Host:.noucor 
0x0050: 702e 636f 6d0d 0a55 7365 722d 4167 656e p.com..User-Agen 
0x0060: 743a 204d 6f7a 696c 6c61 2f35 2e30 2028 t:.Mozilla/5.0.( 
0x0070: 5831 313b 204c 696e 7578 2078 3836 5f36 X11;.Linux.x86_6 
0x0080: 343b 2072 763a 3435 2e30 2920 4765 636b 4) .rv:45.0) .Geck 
0x0090: 6f2f 3230 3130 3031 3031 2046 6972 6566 0/20100101.Firef 
0x00a0: 6f78 2f34 352e 300d 0a41 6363 6570 743a ox/45.0..Accept: 


11:12:04.731343 IP noucorp .com.http> 192.168.1.44.35652: Flags [.], seq 
1:1449, ack 307, win 79, options [nop,nop,TSval 28241838 ecr 2063464654], 
length 1448 


0x0000: 4500 05dc 0491 4000 4006 85f3 98a0 5023 EE..... @.@..... P# 
0x0010: c0a8 012c 0050 8b44 3d7b 68bf af36 01c8 ...,.P.D={h..6.. 
0x0020: 8010 004f a7b4 0000 0101 080a 0lae efae ...0............ 


0x0030: 7afd f8ce 4854 5450 2f31 2e31 2032 3030 Zz...HTTP/1.1.200 
Ox0040: 2044 6174 6120 666f 6c6c 6f77 730d 0a44 .Data.follows..D 
0x0050: 6174 653a 2054 6875 2c20 3039 2046 6562 ate:.Thu,.09.Feb 
0x0060: 2032 3031 3720 3136 3a31 323a 3034 2047 .2017.16:12:04.G 
0x0070: 4d54 0d0a 5365 7276 6572 3a20 5463 6c2d MT..Server:.Tc1- 
0x0080: 5765 6273 6572 7665 722f 332e 352e 3220 Webserver/3.5.2. 





11.2.3 ”工作 原理 


tcpdump 能 够 将 网 卡 设 为 混杂 模式 , 使 得 网 卡 能 够 接收 到 网 络 上 所 有 的 分 组 。 这样 就 可 以 抓 
取 到 发 往 所 在 网 络 上 其 他 主机 的 分 组 了 。 
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tcpdump 可 用 于 跟踪 过 载 网 段 的 问题 源 、 产 生 异 常 流量 的 主机 、 网 络 环 路 、 网 卡 故障 、 恶 意 


分 组 等 。 


利用 选项 -w 和 -r，tcpdump 可 以 将 分 组 数据 以 原始 格式 保存 ， 允 许 随 后 以 普通 用 户 身份 查 
看 。 举 例 来 说 ， 如 果 在 姿 晨 3 点 出 现 了 大 量 网 络 分 组 冲突 ， 你 可 以 设置 一 项 cron 作 业 ， 安 排 在 次 
晨 3 点 的 时 候 运 行 Ecpdump ， 然 后 对 比 检查 正常 时 段 的 网 络 分 组 。 














11.3 ”使 用 ngrep 查找 分 组 


ngrep 是 grep 和 tcpdump 的 综合 体 。 它 能 够 监视 网 络 端口 并 显示 匹配 特定 模式 的 分 组 。 你 
必须 以 root 身 份 运 行 hgrep。 

















11.3.1 ”预备 知识 
你 的 系统 中 可 能 并 没有 安装 ngrep。 可 以 使 用 包 管理 器 自行 安装 : 


# apt-get installngrep 
# yum install ngrep 


11.3.2 ”实战 演练 


ngrep 可 以 接受 一 个 要 匹配 的 模式 ( 例如 grep )、 一 个 分 组 过 滤器 ( 例如 tcpaump ) 以 及 多 
个 用 于 调整 命令 行为 的 选项 。 


下 面 的 例子 会 监视 端口 80 上 的 流量 并 输出 内 容 包含 字符 串 Linux 的 分 组 : 








$>ngrep -q -c 64 Linux port 80 

interface: eth0 (192.168.1.0/255.255.255.0) 
filter: ( port 80 ) and (ip or ip6) 

match: Linux 


T 192.168.1.44:36602 -> 152.160.80.35:80 [AP] 

GET /Training/linux detail/ HTTP/1.1..Host: noucorp.com..Us 
er-Agent: Mozilla/5.0 (X11l; Linux x86_ 64; rv:45.0) Gecko/20 
100101 Firefox/45.0..Accept: text/html,application/xhtml+xm 
l,application/xml;q=0.9,*/*;q=0.8..Accept-Language: en-US,e 
n;q=0.5..Accept-Encoding: gzip, deflate..Referer: http://no 
ucorp.com/Training/..Connection: keep-alive..Cache-Control: 
max-age=0.... 


选项 -da 指示 ngrep 只 打印 分 组 头 部 和 载荷 。 选 项 -c 定 义 了 以 几 列 的 形式 显示 分 组 的 载荷 。 默 认 会 
显示 4 列 ， 不 过 如 果 载 荷 内 容 是 文本 的 话 ， 这 个 选项 并 没有 什么 用 。 跟 随 在 选项 之 后 的 是 要 匹配 
的 字符 串 (Linux )， 然 后 是 分 组 过 滤 表 达 式 ， 其 过 滤 需 语法 和 tcpdump 一 样 。 
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11.3.3 ”工作 原理 

ngrep 同 样 会 设置 网 卡 的 混杂 模式 ， 人 允许 嗅 探 网 络 上 出 现 的 所 有 分 组 ， 不 管 是 否 为 发 往 
本 机 的 。 

上 上 一 个 例子 中 显示 了 所 有 的 HTTP 流 量 。 如 果 主 机 处 于 无 线 网 络 或 是 通过 集线器 ( 非 交 换 机 ) 
接 人 有 线 网 络 ，ngrep 能 够 显示 出 网 络 中 所 有 用 户 的 Web 流 量 。 


















































11.3.4 ”补充 内 容 


选项 -x 能 够 以 十 六 进 制 和 可 打印 形式 显示 分 组 内 容 。 该 选项 可 以 配合 -x 在 分 组 中 搜索 二 进 
制 字 符 串 〈 可 能 是 病毒 签名 或 是 某 些 已 知 模式 )。 


下 面 的 例子 在 HTTPS 连 接 中 监视 指定 的 二 进 制 流 : 


# ngrep -xxX '1703030034' port 443 

interface: eth0 (192.168.1.0/255.255.255.0) 
filter: ( port 443 ) and (ip or ip6) 

match: 0x1703030034 

并 打 半 提 村 并 打 半 打 半 提 村 并 打 半 打 村 提 打 半 打 半 提 村 埋 打 闪 打 半 提 村 圭 打 闪 打 村 提 打 闪 打 闪 提 村 提 打 半 打 半 霸 
T 172.217.6.1:443 -> 192.168.1.44:40698 [AP] 

















17 03 03 00 34 00 00 00 00 00 00 00 07 dd b0 02 EY" UE 
ft5 38 07 e8 24 08 eb 92 3c c6 66 2f 07 94 8b 25 ey 
37 b3 1lc 8d f4 £0 64 c3 99 9e b3 45 44 14 64 23 本 过 学 芝 d....ED.d# 
80 85 lb al 81 a3 d2 7a a ZzZ. 


井 字符 号 表示 被 扫描 的 分 组 ,这 些 分 组 中 不 匹配 指定 的 模式 。ngrep 还 有 很 多 其 他 的 选项 ,详细 
言 息 可 以 参阅 其 手册 页 。 





11.4 使 用 ip 跟踪 网 络 路 由 


实用 工具 ip 可 以 报告 网 络 状态 信息 , 其 中 包括 发 送 和 接收 了 多 少 分 组 、 发 送 的 分 组 类 型 、 如 
何 对 分 组 进行 路 由 等 。 


























11.4.1 预备 知识 


第 8 章 中 讲 过 的 netstat 是 所 有 Linux 发 行 版 中 都 包含 的 标准 工具 , 但 如 今 已 经 被 像 ip 这 样 更 
为 高 效 的 工具 所 取代 。 这 些 新 工具 都 来 自 于 iproute2 软 件 包 ， 如 今 大 多 数 发 行 版 中 都 已 经 安装 了 
该 软件 包 。 
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11.4.2 ”实战 演练 
ip 的 功能 众多 。 在 这 则 攻略 中 将 会 讨论 几 个 有 助 于 跟踪 网 络 行为 的 功能 。 
1. 使 用 ip route 输 出 路 由 


如 果 分 组 无 法 到 达 目 的 地 (ping 或 Eraceroute 命 令 失 败 )， 有 经 验 的 用 户 做 的 第 一 件 事 就 
是 检查 线 缆 。 接 着 要 做 的 就 是 检查 路 由 表 。 如 果 表 中 缺少 默认 网 关 〈0.0.0.0 )， 那 么 分 组 只 能 被 
发 送 到 本 地 网 络 上 的 其 他 主机 。 如 果 有 多 个 网 络 ， 你 需要 在 路 由 表 中 添加 路 由 表 项 ， 以 便 能 够 通 
过 网 关 在 不 同 的 网 络 之 间 转 发 分 组 。 


ip route 命 令 能 够 输出 已 知 的 路 由 : 
































$ ip route 

10.8.0.2 dev tun0 proto kernel scope link src 10.8.0.1 
192.168.87.0/24 dev vmnetl1 proto kernel scope link src 192.168.87.1 
192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.44 
default via 192.168.1.1 dev eth0 proto static 


ip route 的 输出 以 空格 分 隔 。 每 行 的 第 一 个 输出 项 之 后 是 一 系列 关键 字 和 对 应 的 值 。 




















上 面 输出 的 第 一 行 表明 地 址 10.8.0.2 是 一 个 使 用 内 核 协 议 ( kernel protocol ) 的 隧道 设备 ， 该 
地 址 仅 对 此 设备 有 效 。 第 二 行 表示 网 络 192.168.87.x 用 于 同 虚拟 机 进行 通信 。 第 三 行 描 述 了 系统 
所 在 的 主 网 络 (primary network )， 对 应 的 网 络 设 备 是 /dev/eth0。 最 后 一 行 定 义 了 通过 eth0 指 问 
192.168.1.1 的 默认 路 由 。 

ip route 命 令 输 出 中 包含 的 关键 字 如 下 。 
口 via: 指明 下 一 跳 的 地 址 。 
D proto: 该 路 由 所 使 用 的 协议 。 使 用 内 核 协议 的 路 由 是 内 核 所 设置 的 , 管理 员 负 责 设置 静 
态 路 由 。 
口 scope: 地 址 的 有 效 范围 。 如 果 scope 取 值 为 1ink， 则 表明 地 址 仅 对 该 设备 有 效 。 
口 aev: 与 该 地 址 关联 的 设备 。 
2. 跟踪 最 近 的 IP 连 接 和 ARP 表 


ipneighbor 命 令 可 以 输出 下地 址 、 设 备 与 硬件 MAC 地 址 之 间 的 已 知 关系 。 通 过 该 命令 可 以 
了 解 到 这 种 关系 是 最 近 重 新 建立 的 还 是 已 经 变 得 陈旧 (stale ) 了 : 







































































$>ip neighbor 

192.168.1.1 dev eth0 lladdr 2c:30:33:c9:af:3e STALE 
192.168.1.4 dev eth0 lladdr 00:0a:e6:11:c7:dd STALE 
172.16.183.138 dev vmnet8 lladdr 00:50:56:20:3d:6c STALE 


192.168.1.2 dev eth0 lladdr 6c:f0:49:cd:45:ff REACHABLE 
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ipneighbor 命 令 的 输出 显示 本 系统 与 默认 网 关 、 主 机 192.168.1.4 以 及 虚拟 机 172.16.183.138 
之 间 在 最 近 一 段 时 间 内 都 没有 发 生活 动 ， 除 此 之 外 ， 主 机 192.168.1.2 刚 接 和 人 网 络 不 久 。 


当前 状态 REACHABLE 表 明 该 arp 表 项 是 最 新 的 ， 主 机 拥有 远程 系统 的 MAC 地 址 。 这 里 的 
STALE 状 态 并 不 是 说 系统 不 可 达 ， 只 是 表明 该 arp 表 项 已 过 时 ( expired )。 当 系统 尝试 使 用 这 种 表 
项 时 ， 会 先 发 送 ARP 请 求 验证 IP 地 址 所 对 应 的 MAC 地 址 。 


MAC 地 址 与 IP 地 址 之 间 的 映射 关系 只 有 在 更 换 硬件 或 是 重新 设置 设备 参数 的 情况 下 才 会 发 
生变 化 。 


如 果 网 络 设备 出 现 间 吹 性 的 连接 故障 , 有 可 能 是 两 个 设备 使 用 了 相同 的 IP 地 址 。 也 有 可 能 是 
运行 了 两 个 DHCP 服 务 需 或 是 手动 分 配 了 已 经 被 占用 的 地 址 。 


如 果 两 个 设备 使 用 了 相同 的 IP 地 址 , 该 耻 地 址 对 应 的 MAC 地 址 会 不 时 发 生变 化 ,ipneihbor 
命令 可 以 帮助 我 们 找 出 配置 不 当 的 设备 。 


3. 跟踪 路 由 


第 8 章 中 讲 过 的 命令 traceroute 可 以 跟踪 分 组 从 当前 主机 到 目的 地 所 经 历 的 完整 路 径 。 
route get 可 以 输出 当前 主机 的 下 一 跳 地 址 : 
$ ip route get 172.16.183.138 


172.16.183.138 dev vmnet8 src 172.16.183.1 
cachemtu 1500 hoplimit 64 


上 面 的 输出 显示 到 达 虚 拟 机 的 路 由 需要 经 过 地 址 为 172.16.183.1 的 接口 vmnet8。 发 往 此 处 的 
分 组 如 果 大 于 1500 字 节 ， 需 要 进行 分 片 ， 经 过 64 跳 之 后 会 被 丢弃 : 
$ in route get 148.59.87.90 


148.59.87.90 via 192.168.1.1 dev eth0 src 192.168.1.3 
cachemtu 1500 hoplimit 64 


如 果 要 将 分 组 送 达 到 Internet 上 的 某 个 地 址 , 分 组 需要 先 通过 默认 网 关 离 开本 地 网 络 , 主机 上 
的 eth0 接 口 (JP 地址 为 192.168.1.3 ) 与 该 网 关 相 连接 。 
























































11.4.3 ”工作 原理 


ip 命 令 作 为 各 种 内 核 用 表 的 接口 ,运行 在 用 户 空间 中 。 借助 于 该 命令 , 普通 用 户 可 以 检查 网 
络 配 置 ， 高 级 用 户 可 以 配置 网 络 。 
































11.5 ”使 用 strace 跟踪 系统 调用 
GNU/Linux 系 统 可 能 同时 运行 数 百 个 任务 , 但 是 系统 中 只 有 一 张 网 卡 、 一 块 硬盘 、 一 个 键盘 








350 第 11 章 和 砚 迹 寻 踪 





等 。Linux 内 核 负 责 分 配 这 些 有 限 的 资源 ， 控 制 任务 对 资源 的 访问 。 这 就 避免 了 两 个 任务 不 小 心 
搞 乱 磁盘 文件 中 的 数据 。 


当 你 运行 应 用 程序 时 ， 它 会 用 到 用 户 空间 库 ( 例如 printf 和 fopen 这 样 的 函数 ) 和 系统 空 
间 库 ( 例如 write 和 open 这 样 的 函数 )。 如 果 程 序 调 用 printf (或 是 脚本 调用 echo 命 令 ) 格式 
化 输出 字符 串 ， 它 调用 的 就 是 用 户 空间 库 函 数 printf。 该 函数 接着 会 再 调用 系统 空间 库 函 数 
write。 系 统 调用 会 确保 一 次 只 有 一 个 任务 能 够 访问 特定 的 资源 。 














在 理想 情况 下 ,所 有 的 计算 机 程序 各 行 其 道 ,不 出 任何 问题 。 在 相对 理想 的 情况 下 ,你 拥有 
源 代码 ， 程 序 在 编译 时 加 入 了 调试 支持 ， 即 便 出 了 故障 ， 也 能 表现 出 一 致 性 。 


在 现实 情况 下 ,你 有 时 候 不 得 不 同 没有 源 代码 的 程序 打交道 , 这些 程序 还 会 出 现 间 欣 性 故障 。 
开发 人 员 也 爱 黄 能 助 ， 除 非 你 能 给 他 们 一 些 工 作 数 据 。 








Linux 的 strace 命 令 能 够 输出 应 用 程序 所 用 到 的 系统 调用 , 这 可 以 在 没有 源 代码 的 情况 下 帮 
助 我 们 理解 程序 的 意图 。 





11.5.1 ”预备 知识 
strace 是 作为 开发 者 软件 包 ( Developer package ) 的 一 部 分 安装 的 ， 也 可 以 单独 进行 安装 . 





$ sudo apt-get install strace 
$ sudo yum install strace 


11.5.2 ”实战 演练 


理解 strace 的 一 种 方法 就 是 编写 一 个 简短 的 C 程 序 ， 然 后 使 用 strace 查 看 涉及 的 系统 调 
用 。 






































这 个 测试 程序 会 分 配 内 存 , 然后 使 用 分 配 到 的 内 存 打 印 出 一 条 信息 , 再 释放 内 存 , 最 后 退出 。 
strace 的 输出 显示 了 该 程序 所 调用 的 系统 函数 : 


$ cattest.c 
#include <stdio.h> 
#include <stdlib.n> 
#include <string.h> 
main () { 
char *tmp; 
tmp=malloc(100); 
strcat (tmp, "testing"); 
printf ("TMP: Ss\n", tmp); 
free (tmp); 
exit (0); 
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$ gcctest.c 
$ strace ./a.out 

















execve(",. /aout, [v/aGut ly [yy* ol Vars /IY) = "0 

brk(0) = 0x9fc000 

mmap (NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ ANONYMOUS, -1, 0) = 
0x7fc85c7f5000 

access("/etc/ld.so.preload", R_OK) = -1 ENOENT (No such file or 
directory) 

open("/etc/ld.so.cache", O_RDONLY) 二 1 入 

fstat(3, {st_mode=S_IFREG|0644, st_size=95195, ...}) = 0 

mmap (NULL, 95195, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7fc85c7dd000 

close(3) sf 

open("/l1ib64/libc.so.6", O_RDONLY) 二 ' 洛 

read (3, 
"\177ELF\2\1\1\3\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0000\356\1\16;\0\0\0"..., 
832) = :832 

fstat(3, {st_mode=S_IFREG|0755, st_size=1928936, ...}) = 0 

mmap (0x3b0e000000, 3750184, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 
3, 0) = 0x3p0e000000 

mprotect (0x3b0el8a000, 2097152, PROT_NONE) = 0 

mmap (0x3b0e38a000, 24576, PROT_READ|PROT_WRITE, 

MAP_ PRIVATE | MAP_FIXED|MAP_DENYWRITE, 3, 0xl8a000) = 0x3b0e38a000 

mmap (0x3b0e390000, 14632, PROT_READ|PROT_WRITE, 

MAP_ PRIVATE | MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x3b0e390000 

close(3) = 0 

mmap (NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ ANONYMOUS, -1, 0) = 
0x7fc85c7dc000 

mmap (NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ ANONYMOUS, -1, 0) = 
0x7fc85c7dqp000 

mmap (NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ ANONYMOUS, -1, 0) = 
0x7fc85c7da000 

adresDEetl(ARCH -SET ES, 0X/fe8G7d8Y00) = "0 

mprotect (0x3b0e38a000, 16384, PROT_READ) = 0 

mprotect (0x3b0delf000, 4096, PROT_READ) = 0 

munmap (Ox7fc85c7dd000, 95195) #0 

brk(0) S009FC000 

brk (0xal1d000) = 0xald000 

fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 11), ...}) = 0 

mmap (NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ ANONYMOUS, -1, 0) = 
0x7fc85c7f4000 

write(1, "TMP: testing\n", 13) 二 六 3 

exit_group (0) 过 间 


+++ exited with 0 +++ 





11.5.3 ”工作 原理 


第 一 行 是 应 用 程序 的 标准 启动 步骤 。 系统 调用 execve 用 于 初始 化 新 的 可 执行 代码 。brk 调 用 
可 以 返回 当前 的 内 存 地 址 ，mmap 调 用 为 动态 链接 库 和 状态 信息 分 配 了 4096 字 广 的 内 存 。 


访问 ld.so.preload 失 败 的 原因 在 于 ld.so.preload 是 一 个 用 于 预 装 载 库 代 码 的 钩子 。 在 大 多 数 生 
产 系 统 (production sysytem ) 中 并 不 需要 它 。 
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ld.so.cache 是 /etc/ld.so,conf.d 在 内 存 中 的 副本 ,其 中 包含 了 动态 链接 库 的 装载 路 径 。 这 些 内 容 
会 保存 在 内 存 中 ， 以 降低 启动 程序 时 的 开销 。 


接 下 来 出 现 的 系统 调用 mmap、mprotect、arch_prctl 和 munmap 继 续 载 信 库 代码 并 将 设备 
映射 到 内 存 中 。 


程序 中 的 mal1oc 调 用 引发 了 两 次 brk 系 统 调用 。 结 果 是 从 堆 中 分 配 了 100 字 节 。 
stzcat 是 用 户 空间 函数 ， 不 会 引发 系统 调用 。 
printf 也 不 会 引发 系统 调用 ， 它 会 将 格式 化 过 的 字符 串 发 送 到 stdout。 


fstat 和 mmap 系 统 调 用 载 和 人 并 初始 化 staout 设 备 。 这 两 个 调用 在 程序 中 只 出 现 了 一 次 ,用 
于 生成 stdqout 的 输出 。 


write 系统 调用 将 字符 串 发 往 stdqout。 

最 后 ，exit_group 系 统 调用 负责 退出 程序 、 释 放 资 源 以 及 终止 与 进程 相关 的 所 有 线程 。 

注意 ， 并 没有 与 释放 内 存 操作 相对 应 的 brk 系 统 调 用 。malloc 和 ftree 函 数 是 用 于 管理 任务 
内 存 的 用 户 空间 函数 。 它 们 仅 在 程序 总 的 内 存 占 用 情况 发 生变 化 时 才 会 调用 brk。 如 果 程 序 分 配 
了 N 字 节 的 内 存 ， 这 些 内 存 会 被 添加 到 其 可 用 内 存 中 。 当 进行 释放 时 ， 这 部 分 内 存 会 被 标 为 不 可 
用 状态 ,但 仍 会 被 保留 在 程序 的 内 存 池 中 。 下 一 次 调用 malloc 时 ， 就 会 从 内 存 池 中 划分 ， 直 至 
耗 尽 为 止 。 这 时 候 才 会 再 次 调用 brk 从 系统 申请 更 多 的 内 存 。 





















































es 








11.6 ”使 用 Itrace 跟踪 动态 库 函 数 


和 系统 函数 一 样 , 了 解 用 户 空间 函数 的 调用 情况 同样 有 用 。1trace 命 令 和 strace 功 能 相似 ， 
不 过 前 者 跟踪 的 是 用 户 空间 函数 。 





11.6.1 ”预备 知识 
ltrace 命 令 是 作为 开发 者 软件 包 的 一 部 分 安装 的 。 





11.6.2 ”实战 演练 
要 想 跟 踪 用 户 空间 的 动态 库 调用 ， 只 需要 把 待 跟踪 的 程序 放 在 1trace 命 令 之 后 就 可 以 了 : 








$ ltrace myApplication 


下 面 是 一 个 包含 了 自 定义 函数 调用 的 示例 程序 : 
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$ cat test.c 

#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 


int print (char *str) { 
printf("%$s\n", str); 

} 

main () { 
Ghar -tm 
tmp=malloc(100); 
strcat (tmp, "testing"); 
print (tmp); 
free (tmp); 
exit (0); 


} 

$ gcctest.c 
$ ltrace ./a.out 
(0 


0, 603904, -1, Oxlf25bc2) = 0x3b0de21160 
一 SEE nan (Ordd0s Te, 1, Ox7ffd334a95f8, Ox400660, 0x400650 
<unfinished ...> 
malloc(100) = 0x137b010 
Streat (yr, TEeSting”) = "testing" 
puts ("testing") = 8 
free (0x137b010) = <void> 
exit(0 <unfinished ...> 


+++ exited (status 0) +++ 


在 1trace 的 输出 中 , 我们 看 到 调用 了 动态 链接 水 数 strcat, 但 是 并 没有 调用 静态 链接 的 本 地 也 
数 print。 对 于 printf 的 调用 被 编译 右 简 化 为 调用 puts。 除 此 之 外 ， 还 出 现 了 malloc 和 free 
调用 ， 因 为 这 两 者 也 属于 用 户 空间 函数 。 











11.6.3 ”工作 原理 


ltrace 和 strace 利 用 ptrace 国 (Procedure LinkageTable，PLT ), 该 表 
负责 建立 动态 库 函 数 调用 与 实际 函数 地 址 之 间 的 映射 。 这 意味 着 1trace 能 够 拦截 所 有 的 动态 链 
接 函 数 ， 但 是 无 法 拦截 静态 链接 函数 。 








11.6.4 ”补充 内 容 


ltrace 和 strace 固 然 有 用 ,但 如 果 能 同时 跟踪 用 户 空 间 和 系统 空间 的 函数 调用 那 就 再 好 不 
过 了 。1ltrace 的 选项 -s 可 以 满足 这 种 需求 。 下 面 的 例子 展示 了 1ltrace -s 的 输出 : 





$>ltrace -Ss ./a.out 

SYS_brk (NULL) 0xa9f000 

SYS mmap(0, 4096, 3, 34, Oxffffffff) 0x7fcdce4ce000 
SYS_access (0x3b0dc1d380, 4, 0x3b0dc00158, 0, 0) = -2 
SYS_open("/etc/ld.so.cache", 0, 01) = 4 
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SYS_fstat(4, 0x7ffd70342bc0, Ox7ffd70342bc0, 0, Oxfefefefefefefeff) = 
SYS mmap(0, 95195, 1, 2, 4) = 0x7fcdce4b6000 
SYS_close(4) = 0 
SYS_open("/1Lib64/1Libc.so.6"，0，00) = 4 
SYS_read(4, "\177ELF\002\001\001\003", 832) = 832 
SYS_fstat(4, Ox7ffd70342c20, Ox7ffd70342c20, 4, Ox7fcdce4ce640) = 0 
SYS_ mmap (0x3b0e000000, 0x393928, 5, 2050, 4) = 0x3boe000000 
SYS_mprotect (0x3b0e1l8a000, 0x200000, 0, 1, 4) st 
SYS_ mmap (0x3b0e38a000, 24576, 3, 2066, 4) = 0x3b0e38a000 
SYS_ mmap (0x3b0e390000, 14632, 3, 50, Oxffffffff) = 0x3b0e390000 
SYS_close(4) = 0 
SYS mmap(0, 4096, 3, 34, Oxffffffff) = 0x7fcdce4b5000 
SYS mmap(0, 4096, 3, 34, Oxffffffff) = 0x7fcdce4b4000 
SYS mmap(0, 4096, 3, 34, Oxffffffff) = 0x7fcdce4b3000 
SYS_arch prctl1(4098, 0x7fcdce4b4700, 0x7fcdce4b3000, 34, Oxffffffff) 
SYS_mprotect (0x3b0e38a000, 16384, 1, 0x3b0de20fd8, 0x1lf25bc2) = 0 
SYS_mprotect (0x3b0delf000, 4096, 1, 0x4003e0, 0x1lf25bc2) = 0 
(0, 0, 987392, -1, 0x1lf25bc2) = 0x3b0de21160 
SYS_ munmap (0x7fcdce4b6000, 95195) 二 站 
_ libc start_main(0x4005fe，1，0x7ffd703435c8，0x400660，0x400650 
<unfinished ...> 
malloc(100 <unfinished ...> 
SYS_brk (NULL) = Oxa9f000 
SYS_brk (0xac0000) = 0xac0000 
<... malloc resumed> ) = 0xa9f010 
strcat("", "testing") = "testing" 
puts("testing" <unfinished ...> 
SYS_fstat(1, 0x7ffd70343370, 0x7f£fd70343370, 0x7ffd70343230, 0x3boe38f040) 
= 0 
SYS mmap(0, 4096, 3, 34, Oxffffffff) = 0x7fcdce4cd000 
SYS_write(1, "testing\n", 8) = 8 
<... puts resumed> ) = 8 
Eree(0xa9f010) = <void> 
exit(0 <unfinished ...> 
SYS_exit group(0 <no return ...> 
+++ exited (status 0) +++ 

输出 结果 和 strace 例 子 中 的 一 样 ( sbrk、mmap 等 )。 





如 果 用 户 空间 函数 调用 了 系统 空 
数 被 中 断 (malloc (100 <unfinished...>)), 


resumed>)。 


注意 , malloc 和 需要 将 控制 权 转 交 给 
少 应 用 程序 的 内 存 占用 量 ， 它 只 是 释放 内 存 ， 以 供 后 











Sp 


然后 在 完成 系统 调 月 


< 间 函 数 (比如 malloc 和 puts )， 输 出 中 会 显示 用 户 空 





续 使 用 。 


有 之 后 恢复 ( 





3 间 沿 


alloc 


分 sprk 来 为 应 用 程序 分 配 更 多 的 内 存 。 但 是 free 并 不 会 减 


系统 调 优 














本 章 内 容 
口 识别 服务 口 使 用 sysct1 调 优 Linux 内 核 
口 使 用 ss 收集 套 接 字 数据 口 使 用 配置 文件 调 优 Linux 系 统 
口 使 用 astat 收 集 系统 IO 使 用 情况 口 使 用 nice 命 令 更 改 调度 器 优先 级 
口 使 用 pigstat 找 出 资源 占用 大 户 


12.1 简介 
没有 哪个 系统 能 够 满足 我 们 对 于 速度 的 追求 ， 任 何 计算 机 系统 的 性 能 都 有 提高 的 余地 。 
我 们 可 以 通过 关闭 无 用 的 服务 、 调 整 内 核 参数 或 是 添加 新 的 人 硬件 来 改善 系统 性 能 。 


系统 调 优 的 第 一 步 是 理解 系统 需求 以 及 是 否 能 够 满足 这 些 需求 。 不 同类 型 的 应 用 程序 有 各 自 
不 同 的 关键 指标 。 你 需要 回答 的 问题 如 下 。 


口 系统 的 关键 资源 是 不 是 CPU? 从 事 工 程 模拟 的 系统 对 于 CPU 频率 的 需求 要 强 于 其 他 资源 。 
口 网 络 带宽 对 于 系统 是 否 重要 ? 文件 服务 器 不 用 做 什么 运算 操作 ， 但 却 能 榨 干 网 络 带宽 。 
口 磁盘 访问 速度 对 于 系统 是 否 重要 ” 相 较 于 计算 引擎 ， 文 件 服务 咒 或 数据 库 服务 器 对 于 磁 
盘 的 要 求 更 高 。 
口 系统 的 关键 资源 是 不 是 内 存 ? 没有 哪个 系统 不 需要 内 存 ， 但 是 数据 库 服务 器 通常 需要 在 
内 存 中 建立 大 规模 的 数据 表 来 执行 查询 ， 文 件 服务 器 如 果 配 备 了 大 容量 的 磁盘 缓存 ， 效 
口 你 的 系统 是 否 被 黑 过 ?系统 突然 变 得 迟缓 的 原因 可 能 是 运行 了 和 恶意 软件 。 这 种 情况 在 
Linux 系 统 中 并 不 常见 ,但 是 拥有 大 量 用 户 的 系统 ( 例如 大 学 或 商业 网 络 ) 容易 遭受 到 暴 
力 密码 破解 攻击 。 


接 下 来 的 问题 是 : 该 如 何 测算 资源 的 使 用 情况 ? 知晓 了 系统 的 使 用 模式 之 后 ,自然 会 引发 这 
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个 问题 , 但 是 未 必 能 给 出 问题 的 答案 。 文件 服务 器 会 将 经 常 访问 的 文件 缓存 在 内 存 中 ,因此 对 于 
内 存 不 足 的 文件 服务 器 ， 限 制 其 性 能 表现 的 也 许 是 磁盘 /内 存 ， 而 不 是 网 络 带宽 。 


Linux 拥 有 不 少 系 统 分 析 工 具 。 很 多 都 已 经 在 第 8 章 、 第 9 章 和 第 11 章 中 讲 过 了 。 本 章 将 会 介 
绍 其 他 一 些 性 能 监视 工具 。 


下 面 是 可 用 于 检查 各 子 系统 的 工具 列表 。 其 中 很 多 ( 并 非 全 部 ) 工具 在 本 书 中 都 已 经 讨论 
过 了 。 


















































口 CPU: top、 dstat、 perf、 ps、 mpstat、 strace 和 ]trace。 

口 网 络 : netstat、ss、iotop、ip、iptraf、 nicstat、ethtool 和 ]sof。 
口 磁盘 : ftrace、iostat、dstat 和 blktrace。 

口 内 存 : top、 dstat、perf、vmstat 和 swapon。 


这 些 工具 中 有 很 多 已 经 包含 在 了 标准 Linux 发 行 版 中 。 其 他 的 可 以 使 用 包 管 理 絮 自行 安装 





12.2 ”识别 服务 
Linux 系 统 可 以 同时 运行 数 百 个 任务 。 其 中 大 多 数 都 属于 操作 系统 环境 的 组 成 部 分 ， 不 过 可 
能 也 会 有 那么 一 两 个 你 不 需要 的 守护 进程 。 


有 3 种 可 用 于 启动 守护 进程 和 服务 的 工具 ,Linux 发 行 版 支持 其 中 任意 一 种 。 传统 的 SysV 系 统 
使 用 /etc/init.d 中 的 脚本 。 较 新 的 systemd 守 护 进程 除了 使 用 /etc/init.d 之 外 ， 还 用 到 了 systemct1l 
调用 。 还 有 些 发 行 版 使 用 的 是 upstart， 配 置 脚本 保存 在 /etc/init 中 。 


systemd 如 今 已 经 取代 了 SysVinit 系 统 。upstart 是 由 Ubuntu 开 发 并 采用 的 ， 但 是 在 14.04 版 中 ， 
已 经 改 成 了 systemd。 考 虑 到 大 多 数 发 行 版 使 用 的 都 是 systemd， 因 此 本 章 将 重点 放 在 了 该 系统 。 





























12.2.1 预备 知识 


一 步 要 做 的 是 确定 系统 使 用 的 是 SysVinit、systemd 还 是 upstart。 























Linux/Unix 系 统 必须 有 一 个 PID 为 1 的 初始 化 进程 。 该 进程 会 执行 fork 和 exec 系 统 调用 ， 生 
成 其 他 进程 。ps 命 令 可 以 告诉 你 运行 的 是 哪 一 个 初始 化 进程 : 




















$ ps -p 1 -o cmd 
/lib/system/systemd 


在 上 面 的 例子 中 ， 系 统 显 然 使 用 的 是 sysytemd。 但 是 在 有 些 发 行 版 中 ，sysvinit 程 序 
实际 的 init 程 序 的 一 个 符号 链接 ， 而 且 不 管 你 用 的 是 SysVinit、upstart 还 是 systemd，ps 命 令 
的 总 是 /sbin/init: 














W. 
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$ ps -p1 -o cmd 
/sbin/init 


ps 和 grep 命 令 可 以 给 出 更 多 的 线索 : 
$ ps -eaf | grep upstart 
或 者 也 可 以 这 样 


ps -eaf | grep systemd 





如 果 上 面 的 命令 返 回 upstart-udev-bridge 或 systemd/ systemd, 则 表明 系统 运行 的 是 
upstart 或 systemd。 如 果 找 不 到 匹配 的 内 容 ， 说 明 系 统 可 能 运行 的 是 SysVinit。 





12.2.2 ”实战 演练 


大 多 数 发 行 版 都 支持 service 命 令 。 选 项 -status-all 可 以 输出 /etc/int.d 中 所 定义 的 全 部 服 
务 的 当前 状态 。 


该 命令 在 不 同 的 发 行 版 中 的 输出 也 不 尽 相 同 : 


$> service --status-all 


bootlogs 
bootmisc.sh 


Debian: 

[ + ] acpid 

[ - ] alsa-utils 

[ - ] anacron 

[+ ] atd 

[ + ] avahi-daemon 
[re | 

[ ] 


CentOS : 


abrt-ccpp hook is installed 
abrtd (pid 4009) is running... 
abrt-dump-oops is stopped 
acpid (pid 3674) is running... 
atd (pid 4056) is running... 
auditd (pid 3029) is running... 


可 以 使 用 grep 命 令 筛选 输出 ， 只 显示 处 于 运行 状态 的 服务 。 


Debian: 





$ service -status-all | grep + 
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CentOS : 

$ service -status-all | grep running 

你 应 该 把 不 必要 的 服务 都 禁止 掉 。 这 可 以 降低 系统 负载 ， 提 高 安全 性 。 
需要 检查 的 服务 如 下 。 

















口 smbd、nmbd: 这 两 个 是 Samba 守 护 进程 ， 用 于 在 Linux 和 Windows 系 统 间 共享 资源 。 

口 telnet: 这 是 一 个 古老 的 、 不 安全 的 登录 程序 。 除 非 有 无 法 抗拒 的 需求 ， 否 则 应 该 使 用 
SSH。 

D ftp: 另 一 个 同样 古老 、 不 安全 的 文件 传输 协议 。 应 该 用 SSH 和 SCP 人 代替。 

口 rlogin: 远程 登录 。 使 用 SSH 要 更 安全 。 

口 rexec: 远程 执行 命令 。 使 用 SSH 要 更 安全 。 

口 automount : 如 果 你 没有 用 NFS 或 Samba， 就 不 需要 这 个 。 

口 named: 该 守护 进程 提供 了 域名 服务 (DNS )。 只 有 在 系统 定义 了 域名 及 其 对 应 的 人 P 地 址 
的 情况 下 才 有 必要 使 用 该 服务 。 你 不 需要 用 它 来 解析 域名 和 访问 网 络 。 

口 1pd: 行 式 打 印 机 守护 进程 (Line Printer Daemon ) 可 以 让 其 他 主机 使 用 本 系统 的 打印 机 。 
如 果 不 打 算 用 作 打 印 服务 器 ， 没 必要 使 用 该 服务 。 

口 nfsd: NFS 守 护 进程 。 人 允许 远程 主机 挂 载 本 地 主机 的 磁盘 分 区 。 如 果 不 是 用 作文 件 服 务 
器 ， 可 以 不 使 用 该 服务 。 

口 portmap: NFS 服 务 的 一 部 分 。 如 果 系 统 没有 启用 NFS， 可 以 不 使 用 该 服务 。 

D mysql: 数据 库 服务 器 。Web 服 务 右 可 能 需要 用 到 它 。 

口 nttpd: HTTP 守 护 进 程 。 有 时 候 是 作为 Server System 软件 组 的 一 部 分 安装 的 。 























































































































禁止 无 用 服务 的 方法 不 止 一 种 ， 这 取决 于 你 使 用 的 系统 是 基于 Redhat 还 是 Debian， 运 行 的 是 
systemd 、SysV 还 是 upstart。 不 管 使 用 哪 种 方法 ， 必 须 有 root 权 限 。 


1. 基于 systemd 的 系统 
systemct1 命 令 可 以 启 用 或 禁止 服务 。 
启用 服务 : 


Systemctl1 enable SERVICENAME 


禁止 服务 : 


























SYSstemct1 disable SERVICENAME 
可 以 使 用 下 列 命令 禁止 FTP 服 务 : 


# systemctl1 disable ftp 
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2. 基于 RedHat 的 系统 


对 于 采用 了 SysV 方 式 初始 化 脚本 ( /etc/rc#.d ) 的 系统 来 说 , 可 以 将 chkconfig 作 为 前 端 工 
具 使 用 。 选 项 -ae1 用 于 禁止 服务 ，-adaq 用 于 启用 服务 。 注 意 ， 启 用 服务 时 必须 有 相应 的 初始 
化 文件 。 


命令 语法 如 下 : 


# chkconfig -del SERVICENAME 
# chkconfig -add SERVICENAME 


可 以 使 用 下 列 命令 禁止 HTTPD 服 务 : 
# chkconfig -del httpd 
3. 基于 Debian 的 系统 


基于 Debian 的 系统 提供 了 update-rc .gd 工具 来 控制 SysV 方 式 的 初始 化 脚本 。update-rc.aq 
支持 enable 和 disable 两 个 子 命令 。 


可 以 使 用 下 列 命 令 禁 I 上 telnet 服 务 : 


# update-rc.ddisabletelnetd 








12.2.3 ”补充 内 容 


以 上 这 些 方 法 会 查找 在 启动 时 由 SysV 或 systemd 初 始 化 脚本 所 启用 的 服务 。 但 有 些 服 务 可 能 
是 手动 启用 ,或 是 在 启动 脚本 中 ， 亦 或 是 通过 xinetd 启 用 。 


xineta 和 守护 进 程 的 功能 与 init 类 似 : 两 者 都 负责 启用 服务 。 和 init 不 同 的 是 ，xinetq 是 
按 需 启用 服务 。 像 SSH 这 样 的 服务 , 并 不 需要 频繁 启用 , 如 果 一 旦 启用 , 就 会 运行 很 长 一 段 时 间 ， 
按 需 启用 可 以 降低 系统 负载 。 像 httpd 这 种 需要 频繁 执行 一 些 简 单 操作 ( 返回 Web 页 面 ) 的 服务 ， 
更 有 效 的 方式 就 是 启用 后 一 直 保持 运行 。 


xinet 的 配置 文件 是 /etc/xinetd.conf。 单 独 的 服务 文件 通常 保存 在 /etc/xinetd.d 中 。 
服务 文件 的 格式 类 似 于 下 面 这 样 : 


# cat /etc/xinetd.d/talk 

# description: The talk server accepts talk requests for chatting \ 
# with users on other systems. 

service talk 

{ 






































flags = IPV4 
disable = no 
socket type = dgram 


wait = yes 
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user = nobody 
group = tty 
server = /usr/sbin/in.talkd 


} 
更 改 disable 字 段 的 值 就 可 以 启用 或 禁止 服务 。 如 果 gdisable 的 值 为 0， 表示 启用 服务 ; 如 

果 disable 的 值 为 yes， 则 禁用 服务 。 

编辑 完 服务 文件 后 ， 一 定 要 重启 xinetd: 


# cd /etc/init.d 
# ./inetd restart 


























12.3 ”使 用 ss 收集 套 接 字 数据 


由 init 和 xinetd 启 动 的 守护 进程 未 必 是 系统 中 所 运行 的 全 部 服务 。init 本 地 文件 中 
( /etc/re.d/rc.local ) 的 命令 、crontab 表 项 、 甚 至 是 特权 用 户 都 可 以 启动 守护 进程 。 


ss 命令 会 返回 套 接 字 统 计 信息 ， 其 中 包括 使 用 套 接 字 的 服务 以 及 当前 套 接 字 状态 。 


























12.3.1 ”预备 知识 
实用 工具 ss 作为 iproute2 软 件 包 的 一 部 分 已 经 安装 在 了 如 今 大 部 分 的 发 行 版 中 。 











12.3.2 ”实战 演练 
ss 能 够 显示 出 比 net stat 更 多 的 信息 。 下 面 将 介绍 该 工具 的 一 些 特性 。 





1. 显示 tcp 套 接 字 状 态 


每 一 次 HTTP 访 问 、 每 一 个 SSH 会 话 都 会 打开 一 个 tcp 套 接 字 连接 。 选项 -t 可 以 输出 TCP 连 接 
的 状态 : 








$ ss -七 

ESTAB 0 0 192.168.1.44:740 192.168.1.2:nfs 
ESTAB 0 0 192.168.1.44:35484 192.168.1.4:ssh 
CLOSE-WAIT 0 0 192.168.1.44:47135 23.217.139.9:http 


从 命令 输出 中 可 以 看 到 有 两 个 连接 ， 分 别 指向 192.168.1.2 上 的 NFS 和 192.168.1.4 上 的 SSH。 
CLOSE-WAIT 状 态 表 示 报 文 段 FIN 已 经 发 送 , 但 是 套 接 字 尚未 完全 关闭 ,一 个 套 接 字 可 以 永远 (或 
者 是 在 重启 系统 之 前 ) 停留 在 这 种 状态 。 终止 拥有 该 套 接 字 的 进程 也 许 能 够 将 其 释放 ,但 并 非 总 
是 一 定 能 。 
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2. 跟踪 侦 听 端口 的 应 用 程序 





系统 服务 会 打开 一 个 套 接 字 并 将 其 设置 为 1isten ( 侦 听 ) 模式 ， 用 于 接受 来 自 远程 主机 的 
网 络 连接 。SSHD 以 此 侦 听 SSH 连 接 ，httpd 以 此 接受 HTTP 请 求 。 


如 果 系 统 被 黑 ， 可 能 会 多 出 





一 个 新 的 程序 ， 负 责 侦 听 攻击 者 的 指令 。 





ss 的 选项 -1 可 以 列 出 处 于 1isten 模 式 的 套 接 字 。 选 项 -u 指 定 只 输出 UDP 套 接 字 。 选 项 -t 指 


定 只 输出 TCP 套 接 字 。 





下 面 的 命令 显示 出 了 Linux 工 作 站 上 负责 侦 听 的 UDP 套 接 字 : 


$ ss -ul 

State Recv-Q Send-Q Local Address:Port Peer 
Address:Port 

UNCONN 0 0 * :SUDTPC 要 过 委 
UNCONN 0 0 *:;ipp 炎 
UNCONN 0 0 *:ntp 光 3 光 
UNCONN 0 0 127.0.0.1:766 :内 
UNCONN 0 0 *:898 守 s 央 


输出 显示 系统 能 够 接受 远程 过 
程序 portmap 所 占用 。portmap 控 





程 调用 ( Remote Procedure Call，RPC )。 对 应 的 sunrpc 端 口 由 
制 着 RPC 服 务 的 访问 ，nfs 客 户 端 和 服务 器 都 要 用 到 该 程序 。 





ipp 和 ntp 端 口 分 别 由 Internet 打 印 协议 ( Internet Printing Protocol ) 和 网 络 时 间 协 议 ( Network 
Time Protocol ) 所 占用 。 这 两 者 各 有 其 用 ， 但 不 是 每 个 系统 都 需要 。 


/etc/services 中 并 没有 列 出 端口 





号 766 和 8982。1lsof 命 令 的 选项 -I 能 够 显示 出 占用 了 某 端 口 的 


任务 。 该 命令 在 使 用 时 需要 有 root 权 限 : 


# lsof -I :898 
或 者 


# lsof -n -I :898 


COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME 
rpcbind 3267 rpc 7u IPv4 16584 0t0 UDP *:898 
rpcbind 3267 rpc 1l0u IPVv6 16589 0t0 UDP *:898 


从 命令 输出 中 可 以 看 出 ， 侦 听 端 口 


12.3.3 ”工作 原理 


SS 命 令 利用 系统 调用 从 内 部 的 
和 端口 。 





Q@ ss 命令 因此 无 法 像 前 3 项 输出 那样 将 








898 的 是 RPC 系 统 的 一 部 分 ， 并 不 是 骇 客 。 





内 核 用 表 中 提取 信息 。/etc/services 中 定义 了 系统 中 已 知 的 服务 
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12.4 使 用 astat 收集 系统 I/O 使 用 情况 


知道 系统 运行 了 哪些 服务 也 许 并 不 能 告诉 你 是 谁 拖 慢 了 系统 。top 命 令 ( 第 9 章 讲 过 ) 可 以 
报告 CPU 占 用 情况 以 及 1/O 等 待 时 间 ， 但 这 可 能 也 不 足以 找 出 导致 系统 过 载 的 任务 。 


跟踪 VO 以 及 上 下 文 切换 有 助 于 揪 出 问题 的 源头 。 
dstat 实 用 工具 可 以 为 你 指出 系统 潜在 的 瓶颈 。 























12.4.1 ”预备 知识 


astat 通 常 并 没有 预 装 ， 你 需要 使 用 包 管理 器 自行 安装 。 该 工具 要 用 到 Python 2.2， 后 者 在 如 
今 的 Linux 系 统 中 都 已 经 默认 安装 过 了 


# apt-get installdstat 
# yum install dstat 








12.4.2 ”实战 演练 


dstat 能 够 以 固定 的 时 间 间 隔 显示 出 磁盘 、 网 络 、 内 存 使 用 以 及 所 运行 任务 的 相关 信息 。 其 
默认 输出 可 以 让 你 了 解 到 整个 系统 的 活动 情况 。 如 果 不 特 别 指定 , 输出 内 容 每 隔 一 秒 钟 就 会 更 新 
一 行 ， 可 以 非常 方便 地 与 之 前 的 数据 进行 对 比 。 


dstat 支 持 多 种 选项 ， 可 用 于 跟踪 占用 资源 位 于 前 列 的 用 户 。 
查看 系统 活动 


如 果 不 使 用 任何 选项 ，dstat 会 每 隔 一 秒 显 示 出 CPU 占 用 、 磁 盘 l/JO、 网 络 WO、 分 页 、 中 断 
以 及 上 下 文 切换 信息 。 






































下 面 是 astat 的 输出 : 

$ dstat 

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- --- system-- 

usr SYS idl wai hiq siq| read writ| recv send| in out | int CSW 
1 2 97 0 0 015457B 55k| 0 0 1 0 0 11702 3177 
1 2 97 0 0 01 0 0 | 15k 2580B| 0 0 12166 4830 
1 2 96 0 0 01 0 36k11970B 1015B1 0 0 12122 4794 


第 一 行 输出 可 以 忽略 ,这 些 值 都 是 astat 输 出 的 初始 化 内 容 。 余 下 的 行 显示 了 一 段 时 间 内 的 系统 
活动 。 在 这 个 例子 中 ，CPU 大 部 分 时 间 都 处 于 闲置 状态 ， 磁 盘活 动 很 少 。 系 统 产生 了 网 络 流量 ， 
不 过 也 只 是 每 秒 钟 几 个 分 组 而 已 。 


该 系统 并 没有 发 生 换 页 操作 。Linux 只 有 在 主 存 不 足 的 时 候 才 会 将 内 存 页 面 换 出 到 磁盘 。 尽 
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管 换 页 机 制 可 以 让 系统 运行 比 原先 更 多 的 程序 , 但 是 磁盘 的 访问 速度 要 比 内 存 慢 了 数 千 倍 , 由 此 
也 会 相应 地 拖 慢 系统 的 运行 速度 。 





如 果 你 在 系统 中 发 现 持续 的 换 页 活动 ， 这 表示 需要 增添 更 多 的 内 存 或 是 减少 运行 的 程序 数量 。 


有 些 数 据 库 查 询 操 作 需 要 在 内 存 中 构建 大 规模 的 数据 表 ， 这 种 操作 会 引发 间 区 性 的 系统 换 
页 。 可 以 修改 查询 语句 , 使 用 IN 操作 符 来 代替 JOIN 操作 符 , 以 此 降低 内 存 需求 。( 这 属于 高 级 SQL 
知识 , 已 经 超出 了 本 书 的 范围 。) 
































在 每 一 次 系统 调用 ( 参考 第 11 章 中 讲 过 的 strace 和 1trace ) 或 者 时 间 片 到 期 ， 轮 到 男 一 个 
进程 访问 CPU 的 时 候 都 会 发 生 上 下 文 切换 ( context switch，csw )。 无 论 是 VO 操作 还 是 调整 进程 内 
存 占 用 都 需要 执行 系统 调用 。 


如 果 系 统 每 秒 钟 要 完成 数 以 万 计 的 上 下 文 切 换 ， 那么 可 以 认为 这 是 一 种 潜在 的 问题 。 




















12.4.3 ”工作 原理 
dstat 是 一 个 Python 肢 本， 可 以 从 /proc 文 件 系统 (第 10 章 中 讲 到 过 ) 中 收集 并 分 析 数 据 。 























12.4.4 补充 内 容 
astat 可 以 按 类 别 找 出 占用 资源 最 多 的 进程 。 











口 --top-bio: 用 于 描述 磁盘 使 用 情况 ， 可 以 显示 出 执行 块 IJO 最 多 的 进程 。 
口 --top-cpu: 用 于 描述 CPU 使 用 情况 ， 可 以 显示 出 CPU 占用 率 最 高 的 进程 。 
口 --top-io: 用 于 描述 IO 使 用 情况 , 可 以 显示 出 执行 IO 操 作 最 多 的 进程 ( 通常 是 网 络 1/O )。 
口 --top-latency: 用 于 描述 系统 负载 情况 ， 可 以 显示 出 延迟 最 高 的 进程 。 


口 --top-mem: 用 于 描述 内 存 使 用 情况 ， 可 以 显示 出 占用 内 存 最 多 的 进程 。 
下 面 的 例子 显示 了 CPU 和 网 络 的 使 用 情况 以 及 占用 这 两 种 资源 最 多 的 进程 : 

















$ dstat -c --top-cpu -n --top-io 


----total-cpu-usage---- -most-expensive- -net/total- ----most-expensive---- 
usr SYS idl wai hid siq| cpu process | recv send| i/o process 
1 2 97 0 0 0lvmware-vmx 1.0| 0 0 lbash 26k 2B 
2 1 97 0 0 0lvmware-vmx 1.7| 18k 3346B|xterm 235B 1064B 


2 2 97 0 0 0lvmware-vmx 1.9| 700B 1015B|firefox 82B 32k 


在 有 虚拟 机 运行 的 系统 中 ， 虚 拟 机 占用 的 CPU 时 间 最 多 ， 但 执行 的 VO 操作 却 不 是 最 多 的 。 
CPU 在 大 部 分 时 间 中 都 处 于 闲置 状态 。 


选项 -< 和-n 分 别 指定 显示 CPU 和 网 络 使 用 情况 。 

















364 第 12 章 系统 调 优 





12.5 ”使 用 piqdstat 找 出 资源 占用 大 户 


dstat 的 选项 --top-io 和 --top-cpu 能 够 找 出 占用 资源 最 多 的 进程 ， 但 如 果 某 个 资源 占用 
大 户 存 在 多 个 运行 实例 的 话 ， 单 赁 这 两 个 选项 不 足以 追查 出 问题 所 在 。 


pidstat 能 够 输出 每 个 进程 的 统计 信息 , 我 们 可 以 对 这 些 信息 进行 排序 , 作出 进一步 的 判断 。 














12.5.1 ”预备 知识 


pidstat 可 能 默认 并 没有 安装 。 可 以 使 用 下 列 命令 自行 安装 : 








# apt-get install sysstat 


12.5.2 ”实战 演练 

pidstat 包 含 多 种 选项 ， 可 以 生成 各 种 输出 。 
口 -d: 输出 IO 统计 。 
口 -r: 输出 缺 页 故障 和 内 存 使 用 情况 。 
口 -u: 输出 CPU 使 用 情况 。 
口 -w: 输出 任务 切换 ( 上 下 文 切换 ) 情况 。 
输出 上 下 文 切换 活动 : 


$ pidstat -w | head -5 
Linux 2.6.32-642.11.1.e16.x86 64 (rtdaserver.cflynt .com) 
02/15/2017  _x86 64 (12 CPU) 











11:18:35 AM PID cswch/s nveswch/s Command 
11:18:35 AM 1 0.00 0.00 init 
11:18:35 AM 2 0.00 0.00 kthreadd 


pidstat 的 输出 是 按照 PID 排 序 的 。 我 们 可 以 根据 需要 ,使 用 sort 重 新 排序 输出 。 下 面 的 命 
令 显示 了 每 秒 钟 发 生 上 下 文 切 换 次 数 ( 选项-w 输 出 中 的 第 4 列 ) 最 多 的 前 5 个 进程 : 


$ pidstat -w | sort -nr -k 4 | head -5 




















11:13:55 AM 13054 351.49 9.12 vmware-vmx 
11:13:55 AM 5763 3 57 1.10 vmware-vmx 
11:13:55 AM 3157 27.79 0.00 kondemand/0 
11:13:55 AM 3167 21.18 0.00 kondemand/10 
11:13:55 AM 3158 21.17 0.00 kondemand/1 


12.5.3 ”工作 原理 
piastat 通 过 查询 内 核 来 获取 任务 信息 。sort 和 heaa 命 令 减 少 了 数据 量 ， 让 我 们 可 以 将 注 
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意 力 集中 在 霸占 资源 的 程序 上 面 。 


12.6 使 用 sysctl 调 优 Linux 内 核 


Linux 内 核 包含 了 大 约 1000 个 可 调节 的 参数 。 这 些 参数 的 默认 取 值 适合 于 一 般 的 使 用 场景 ， 
这 也 意味 着 它们 并 非 对 每 个 人 都 是 十 全 十 美的 。 





12.6.1 ”预备 知识 
sysct1 命 令 适 用 于 所 有 的 Linux 系 统 。 你 必须 以 root 的 身份 才能 修改 内 核 参 数 。 


该 命令 可 以 立刻 改变 参数 值 , 但 除非 将 参数 定义 在 /etc/sysctl.conf 中 ,否则 重启 之 后 , 修改 过 
的 值 又 会 恢复 原样 。 


最 好 是 在 修改 sysctLconf 之 前 先进 行 测试 。 如 果 将 错误 的 值 写 人 /etc/sysctlLconf， 会 导致 系统 
无 法 启动 。 





12.6.2 ”实战 演练 
sysct1 支 持 下 列 选 项 。 


口 -a: 输出 所 有 的 参数 。 

口 -p FILENAME: 从 FILENAME 中 读 和 人 值 。 默 认 从 /etc/sysctLconf 中 读 取 。 
口 PARAM: 输出 PARAM 的 当前 值 。 

口 PARAM=NEWVAL: 设置 PARAM 的 值 。 


























1. 任务 调度 器 调 优 


任务 调度 器 是 针对 桌面 环境 优化 的 , 在 这 种 环境 下 , 快速 响应 用 户 操作 要 比 整体 效率 更 重要 。 
延长 任务 的 切换 间隔 能 够 提高 服务 器 系统 的 性 能 。 下 面 的 例子 查看 了 kernel .sch d_migration_ 
GOSt-TIS 的 值 
































$ sysctl.kernel.shed migration cost ns 

kernel.sched migration cost ns = 500000 

kernel.scheq_ migration_cost_ns (在 比较 旧 的 内 核 中 是 kernel .scheqd_migration n_cost ) 
控制 着 任务 在 被 切换 之 前 能 够 保持 活跃 状态 的 时 长 。 在 拥有 着 大 量 任务 或 线程 的 系统 中 , 这 会 导 
致 大 量 的 开销 耗费 在 上 下 文 切换 上 。 默 认 值 5300 000 纳 秒 对 于 运行 Postgres 或 Apache 服 务 器 的 系统 
无 疑 是 过 小 了 。 建 议 将 这 个 值 修 改 为 5 微 秒 : 























# sysctlkernel.sched migration cost ns=5000000 
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在 有 些 系统 中 ( 尤其 是 Postgres 服 务 器 ), 取消 参数 schned_autogroup_enablegd 的 设置 能 够 





2. 网 络 调 优 


对 于 需要 执行 大 量 网 络 操作 的 系统 (NEFS 客 户 端 、NFS 服 务 器 等 ) 而 言 ， 网 络 缓存 的 默认 值 
可 能 过 小 了 。 


仿 查 读 缓存 的 最 大 值 : 





$ sysctlnet.core.rmem max 
net.core.rmem max = 124928 


增加 缓存 大 小 : 


# sysctlnet.core.rmem max=16777216 

# sysctlnet.core.wmem max=16777216 

# sysctl net.ipv4.tcp rmem="4096 87380 16777216" 
# sysctl] net.ipv4.tcp wmem="4096 65536 16777216" 
# sysctl] net.ipv4.tcp max_ syn backlog=4096 


12.6.3 ”工作 原理 


sysct1 命 令 可 以 直接 访问 内 核 参数 。 在 大 多 数 发 行 版 中 ， 这 些 参数 默认 都 是 针对 普通 工作 
站 优化 的 。 


如 果 系 统 内 存 容 量 大 , 可 以 增加 缓冲 区 的 值 来 提高 性 能 ; 如 果 内 存 不 足 ， 可 以 减少 缓存 
值 。 如 果 系 统 作 为 服务 器 ， 可 以 将 任务 切换 间隔 值 设 置 的 比 单 用 户 工作 站 长 一 些 。 








Xl 


的 























12.6.4 ”补充 内 容 


/proc 文 件 系统 存在 于 所 有 的 Linux 发 行 版 中 。 对 于 系统 中 运行 的 任务 以 及 所 有 主要 的 内 核子 
系统 ， 在 该 文件 系统 中 都 有 相应 的 目录 。 目 录 中 的 文件 可 以 使 用 cat 浏 览 和 更 新 。 


sysct1 支 持 的 参数 通常 /proc 文 件 系 统 也 支持 。 


因此 ， 参 数 net .core.rmem_max 可 以 以 /proc/sys/net/core/rmem_max 的 形式 访问 。 








12.7 ”使 用 配置 文件 调 优 Linux 系统 


Linux 系 统 中 包含 多 个 文件 ， 可 用 于 定义 磁盘 挂 载 方式 等 。 有 些 参数 无 需 借 助 /proc 或 
SYSCL1， 直接 在 这 些 文件 中 设置 就 行 了 o 
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12.7.1 预备 知识 


,etc 目录 下 有 多 个 文件 ,控制 着 系统 的 配置 .这 些 文件 可 以 使 用 标准 编辑 器 ( 例如 vi 或 emacs ) 
进行 编辑 。 所 作出 的 变动 可 能 需要 等 到 系统 重启 之 后 才能 生效 。 

















12.7.2 ”实战 演练 
/etc/fstab 文 件 定义 了 磁盘 如 何 挂 载 以 及 所 支持 的 选项 。 


Linux 系 统 会 记录 文件 创建 、 修 改 以 及 读 取 的 时 间 。 知 道 文件 何 时 被 读 取 基 本 上 没什么 用 ， 
常用 工具 (例如 cat ) 每 次 访问 文件 的 时 候 都 要 更 新 文件 的 访问 时 间 ， 这 种 操作 也 会 引入 可 观 的 
开销 。 

挂 载 选 项 noatime 和 relatime 可 以 降低 磁盘 颠 艇 (disk thrashing ): 














$ cat /dev/fstab 
/dev/mapper/vg_example _ root / ext4 defaults,noatime 11 
/dev/mapper/gb_example spool /var ext4 defaults,relatime 1 1 


12.7.3 ”工作 原理 


在 上 面 的 例子 中 ， 在 挂 载 /分 区 ( 包括 /bin 和 /usr/bin ) 时 使 用 了 常见 的 默认 选项 以 及 
noatime 选 项 ， 该 选项 禁止 在 每 次 访问 文件 时 更 新 磁盘 数据 。/var 分 区 ( 包括 邮件 目录 ) 设置 
了 relatime 选 项 ， 该 选项 每 天 至 少 会 更 新 一 次 文件 访问 时 间 ， 但 并 不 会 在 每 次 访问 文件 的 时 候 
都 更 新 。 























12.8 使 用 nice 命令 更 改 调度 器 优先 级 
Linux 中 的 每 个 任务 都 有 其 优先 级 。 这 个 优先 级 的 范围 从 -20 到 19。 优先 级 越 低 ( -20 ), 分 配 
给 任务 的 CPU 时 间 就 越 多 。 默 认 的 优先 级 是 0。 


并 非 所 有 的 任务 都 需要 使 用 相同 的 优先 级 。 交 互 式 应 用 要 求 快速 响应 , 否则 用 起 来 很 不 顺手 。 
通过 crontab 运 行 的 后 台 任 务 只 需要 在 下 次 被 调度 运行 之 前 执行 完毕 就 行 了 。 

nice 命 令 可 以 修改 任务 的 优先 级 。 它 能 以 指定 的 优先 级 启动 任务 。 降 低 任务 的 优先 级 会 释 
放出 资源 给 其 他 任务 。 























12.8.1 ”实战 演练 
不 加 任何 参数 的 nice 命 令 会 输出 任务 的 当前 优先 级 : 
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$ cat nicetest.sh 

echo "my nice is ‘nice " 
$ sh nicetest.sh 

my nice is 0 


在 nice 后 面 跟 上 男 一 个 命令 名 ,会 以 10 为 优先 级 运行 该 命令 "， 也 就 是 在 任务 默认 优先 级 值 
上 加 10: 








$ nicesh nicetest.sh 
my nice is 10 


如 果 在 nice 后 面 所 跟 的 命令 名 之 前 加 上 一 个 值 ， 那 么 就 会 以 指定 的 优先 级 执行 该 命令 


$ nice -15 sh nicetest.sh 
my nice is 15 
只 有 超级 用 户 能 够 指定 负 值 来 提升 任务 的 优先 级 ( 更 小 的 数字 ): 


# nice -adjustment=-15 nicetest.sh 
my nice is -15 


12.8.2 ”工作 原理 
命令 会 修改 内 核 的 调度 表 ， 以 更 高 或 更 低 的 优先 级 运行 任务 。 表 示 优 先 级 的 值 越 小 ， 


nice 人 全 Ww 2 


调度 器 分 配给 任务 的 CPU 时 间 就 越 多 。 








12.8.3 ”补充 内 容 


renice 命 令 可 以 修改 正在 运行 的 任务 的 优先 级 。 占 用 大 量 资源 ， 但 对 运行 时 间 没 有 特别 要 
求 的 任务 可 以 利用 该 命令 降低 优先 级 ( madenicer )。top 命 令 能 够 找 出 占用 CPU 最 多 的 那些 任务 。 


调用 renice 命 令 时 需要 指定 新 的 优先 级 值 以 及 进程 ID (PID ): 


$ renice 10 12345 
12345: old priority 0, new priority 10 

















@ 这 里 的 10 也 可 以 认为 代表 的 是 任务 的 友善 度 (niceness )。 友 善 度 越 高 ( 值 越 大 )， 占 用 的 资源 就 越 少 。 这 种 方式 


更 容易 理解 nice 命 令 。 









































em 二 LUI 
在 云 端 
本 章 内 容 
口 使 用 Linux 容 需 口 在 Linux 中 使 用 虚拟 机 
口 使 用 Docker 口 云端 的 Linux 


13.1 简介 


现代 Linux 应 用 可 以 部 署 在 专门 的 硬件 、 容 器 、 虚 拟 机 ( VM ) 或 是 云端 。 这 些 解决 方案 有 各 
自 优 劣 ， 都 可 以 使 用 脚本 或 GUI 进行 配置 和 维护 。 


如 果 你 想 部 署 单个 应 用 的 多 个 副本 , 每 个 副本 都 需要 有 自己 的 私有 数据 , 那么 容器 就 是 一 种 
晶 想 的 选择 。 例 如 ， 容 器 可 以 很 好 地 同 数据 库 驱 动 的 Web 服 务 器 配合 工作 ， 其 中 每 个 服务 器 使 用 
相同 的 Web 基 础 设施 ， 同 时 拥有 私有 数据 。 


容 需 的 缺点 在 于 它 依赖 于 主机 的 系统 内 核 。 你 可 以 在 Linux 主 机 上 运行 多 个 Linux 发 行 版 ， 但 
无 法 在 容 需 中 运行 Windows。 


如 果实 例 需要 各 不 相同 的 完整 运行 环境 , 虚拟 机 是 最 好 的 方案 。 借 助 于 虚拟 机 ,你 可 以 在 单 
个 主机 上 运行 Windows 和 Linux。 如 果 不 想 在 产品 测试 的 时 候 摆 上 一 大 堆 测 试用 机 ， 但 又 需要 在 
不 同 的 发 行 版 和 操作 系统 上 测试 ， 应 该 考虑 使 用 虚拟 机 。 


虚拟 机 的 缺点 在 于 要 占用 大 量 的 磁盘 空间 。 每 个 虚拟 机 都 包含 了 完整 的 计算 机 操作 系统 、 设 
备 驱动 程序 、 全 部 的 应 用 程序 和 实用 工具 等 。Linux 虚 拟 机 需要 至 少 一 个 处 理 核心 和 1GB 内 存 ， 
Windows 虚 拟 机 可 能 需要 两 个 处 理 核心 和 4GB 内 存 。 如 果 你 想 同 时 运行 多 个 虚拟 机 ， 必 须 有 足够 
的 内 存 来 支撑 各 个 虚拟 机 。 否 则 ， 主 机 就 不 得 不 开始 交换 页 面 ， 影 响 到 系统 性 能 。 


云 就 像 是 给 了 你 大 量 可 支配 的 计算 机 和 带宽 。 你 可 能 实际 上 是 运行 在 云 中 的 虚拟 机 或 容 絮 
中 ， 也 可 能 拥有 自己 专属 的 系统 。 



































已 
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云 最 大 的 优势 在 于 可 伸缩 性 。 如果 应 用 程序 的 规模 会 扩展 或 是 使 用 模式 上 呈现 出 周期 性 的 变 
化 ,那么 能 够 在 不 用 购买 或 租借 新 的 硬件 或 带宽 情况 下 实现 资源 的 快速 扩充 或 缩减 就 很 有 必要 
了 。 举 例 来 说 ， 如 果 你 的 系统 需要 处 理学 生 注册 , 那么 会 出 现 一 年 两 次 ,一 次 两 周 的 超 负荷 工作 
状态 ， 而 余下 的 时 间 里 ， 基 本 上 就 没什么 事 了 。 你 可 能 需要 一 堆 便 件 来 应 付 这 两 周 的 工作 , 但 是 
又 不 想 让 这 些 硬 件 忙 完 之 后 闲置 起 来 。 


云 的 缺点 在 于 你 无 法 直观 地 感知 到 它 。 所 有 的 维护 及 配置 工作 都 是 远程 完成 的 。 









































13.2 ”使 用 Linux 容器 


Linux 容 器 ( Linux Container，lxc ) 包 提 供 了 Docker 和 LXD 容 器 部 署 系统 所 用 到 的 基本 容 需 
功能 。 

Linux 容 器 利用 了 内 核对 于 控制 组 ( Control Group ，cgroup ) 的 支持 以 及 第 12 章 中 介绍 过 的 
systemd 工 具 。cgroups 提 供 了 能 够 控制 程序 组 可 用 资源 的 工具 。 这 些 工 具 可 以 告知 内 核 可 供 容器 
中 所 运行 的 进程 使 用 的 资源 。 容 器 能 够 有 限 地 访问 设备 、 网 络 、 内 存 等 。 在 资源 上 的 控制 能 够 避 
免 容 需 之 间 的 干扰 或 是 对 主机 系统 可 能 造成 的 破坏 。 

















13.2.1 ”预备 知识 


市 面 上 的 发 行 版 并 不 支持 容器 。 你 需要 单独 安装 。 不 同 的 发 行 版 在 这 方面 的 支持 力度 各 不 相 
同 。lxc 容 器 系统 是 由 Canonical 开 发 的 , 因而 Ubuntu 发 行 版 具备 完善 的 容 需 支持 。Debian 9( Stretch ) 
的 表现 要 比 Debian 8 (Jessie ) 要 好 。 


Fedora 提 供 了 有 限 的 lxc 容 器 支持 。 创建 特 权 容 器 和 桥接 以 太 网 连接 并 不 难 , 但 是 在 Fedora 25 
中 ， 无 法 使 用 非特 权 容 器 所 需要 的 cgmanager 服 务 。 


SuSE 也 只 提供 了 有 限 的 lxc 容 器 支持 。SuSE 的 1ipvirt-1xc 包 和 Ilxc 功 能 类 似 ， 却 不 尽 相同 。 
本 章 不 会 涉及 该 包 。 不 包含 以 太 网 的 特权 容器 在 SuSE 中 很 容易 创建 ， 但 它 不 支持 非特 权 容器 和 
桥接 以 太 网 。 


下 面 演示 了 如 何在 各 种 主流 发 行 版 中 安装 1xc 支 持 。 
在 Ubuntu 中 ， 使 用 下 列 命令 : 


# apt-get install lxcl 


Debian 可 能 只 在 /egc/aptsources.list 中 包含 了 安全 仓库 。 如 果 是 这 样 的 话 ， 你 需要 将 debhttp:/ 
ftp.us.debian.org/debian stretch main contrib 添 加 到 /etc/apt/sources.list 中 ， 然 后 执行 apt-get update 
before， 载 人 1xc 包 : 
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# apt-get install lxcl 
在 OpenSuSE 中 ， 使 用 下 列 命令 


# ZYPPer install lxc 
RedHat, Fedora: 


在 基于 Red Hat/Fedora 的 系统 中 ， 添 加 Epel 仓 库 : 





# yum install epel-release 
然后 再 安装 下 列 软件 包 : 
# yum install perl libvirt debootstrap 
1ibvirt 包 提供 了 联网 支持 ，dqebootstrap 用 于 运行 基于 Debian 的 容器 : 


# yum install lxc lxc-templates tunctl bridge-utils 


13.2.2 ”实战 演练 
1xc 包 向 系统 中 添加 了 以 下 几 条 命令 。 
1xc-create: 创建 xc 容器 。 
1xc-1s: 列 出 可 用 的 容 需 。 
lxc-start: 启动 容器 。 
lxc-stop: 停止 容器 。 
lxc-attach: 附着 到 容 攻 的 root shell。 
1xc-console: 连接 到 容器 中 的 登录 会 话 。 


在 基于 Red Hat 的 系统 中 ， 你 需要 在 测试 的 时 候 禁 用 SELinux。 在 OpenSuSE 系 统 中 ， 你 需要 
禁止 AppArmor。 通 过 yast2 禁 用 AppArmor 之 后 别 忘 了 重启 。 


Linux 容 器 分 为 两 类 : 特权 和 非特 权 。 特 权 容 器 是 由 root 创 建 的 ， 其 底层 系统 拥有 root 权 限 。 
非特 权 容 器 是 由 普通 用 户 创 建 的 ， 只 拥有 该 用 户 所 具有 的 权限 。 


特权 容 圳 更 容易 创建 ， 受 文 持 的 范围 也 更 大 ， 因 为 这 种 类 型 的 容器 不 要 求 uia 和 gid 映射 、 设 
备 权限 等 。 但 如 果 用 户 或 应 用 程序 从 容器 中 逃离 (escape )， 它 们 将 拥有 主机 系统 所 有 的 访问 权限 。 


创建 特权 容器 可 以 很 好 地 验证 所 需要 的 软件 包 是 否 都 已 经 安装 妥当 。 在 这 之 后 , 对 应 用 程序 
使 用 非特 权 容 器 。 


1. 创建 特权 容器 
Linux 容 顺 最 简单 的 上 手 方法 就 是 下 载 一 个 包含 在 特权 容器 中 的 预 构建 发 行 版 。1xc-create 





DOOODODODO 
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命令 会 创建 一 个 基础 容器 结构 ( base container structure )， 然 后 可 以 在 其 中 添加 定义 好 的 Linux 
发 行 版 。 


1xc-create 命 令 语 法 如 下 : 





lxc-create -n NAME -t TYPE 


选项 -n 定 义 了 容器 名 称 。 在 启动 、 停 止 或 重新 配置 容器 时 需要 用 到 该 名 称 。 选 项 -定义 了 创建 
容器 时 使 用 的 模板 。dqownloaq 类 型 会 将 系统 连接 到 包含 预 构建 容器 的 仓库 并 提示 下 载 容 器 。 


这 是 体验 其 他 发 行 版 或 创建 依赖 非 主 机 Linux 发 行 版 的 应 用 程序 最 简单 的 方法 : 
$ sudo lxc-create -t download -n ContainerName 


download 模 板 会 从 Internet 检 索 可 用 的 预定 义 容器 列表 并 从 中 生成 容器 ,该 命令 会 显示 出 这 些 
可 用 容器 并 提示 相应 的 Distribution 、Release 和 Architecture。 你 能 够 运行 的 容器 必须 和 硬件 所 支持 
的 Architecture 相 符 。 如 果 你 的 系统 用 的 是 Intel 的 CPU， 那 就 没 法 运行 Arm 容 器 ， 但 是 你 可 以 在 配 
备 了 64 位 Intel CPU 的 系统 上 运行 32 位 的 386 容 带 : 






























































$ sudo lxc-create -t download -n ubuntuContainer 


ubuntu zesty armhf default 20170225 03:49 
Ubuntu zesty i386 default 20170225 03 :49 
Ubuntu zesty powerpc default 20170225 03:49 
ubuntu zesty ppc64el default 20170225 03:49 
ubuntu zesty s390x default 20170225 03:49 


Distribution: ubuntu 
Release: trusty 
Architecture: i386 


Downloading the image index 
Downloading the rootfs 
Downloading the metadata 

The image cache is now ready 
Unpacking the rootfs 


You just created an Ubuntu container (release=trusty, arch=i386, 
variant=default) 

To enable sshd, run: apt-get install openssh-server 

For security reason, container images ship without user accounts and 
without a root password. 

Use lxc-attach or chroot directly into the rootfs to set a root password or 
create user accounts. 


你 可 以 根据 当前 使 用 的 发 行 版 创建 容器 ， 这 只 需要 选择 和 该 发 行 版 匹配 的 模板 就 行 了 。 
/usr/share/lxc/templates 中 定义 了 各 种 模板 : 
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# ls /usr/share/lxc/templates 
lxc-busybox lxc-debian lxc-download ... 


涯 对 应 的 模板 ， 然 后 运行 1xc- a 版 创建 容器 了 。 


千 


选 




















过 程 要 花费 儿 分 钟 时 间 。 了 大 部 分 安装 和 配置 信息 : 





$ cat /etc/issue 

Debian GNU/Linux 8 

$ sudolxc-create -t debian -n debianContainer 
debootstrap is /usr/sbin/debootstrap 


Checking cache download in /var/cache/lxc/debian/rootfs-jessie-i386 ... 


Downloading debianminimal ... 

I: Retrieving Release 

I: Retrieving Release.gpg 

I: Checking Release signature 

I: Valid Release signature (key id 
7T5DDC3C4A499F1A18CB5F3C8CBF8D6FD518E17E1) 


: Retrieving Packages 

Validating Packages 

Checking component main on http://http.debian.net/debian... 
Retrieving acl 2.2.52-2 

Validating acl 2.2.52-2 

Retrieving libacll 2.2.52-2 

Validating libacll 2.2.52-2 


HHHHHHH.: 


I: Configuring libc-bin... 

I: Configuring systemd... 

I: Base system installed successfully. 

Current default time zone: 'America/New_ York' 

Local time is now: Sun Feb 26 11:38:38 EST 2017. 
Universal Time is now: Sun Feb 26 16:38:38 UTC 2017. 


Root password is 'W+IkcKkk', please change |! 


下 载 及 安 


上 述 命令 会 从 包 管 理 器 定义 的 仓库 中 生成 一 个 新 的 容 需 。 在 使 用 容器 之 前 ， 必 须 先 启动 容器 。 














1xc-start 命 令 可 以 启动 容器 。 和 其 他 1xc 命 令 一 样 ， 必 须 提供 要 局 动 的 容 需 名 称 : 


# lxc-start -n ubuntuContainer 




















容器 在 启动 过 程 中 有 可 能 会 挂 起 并 输出 像 下 面 这 样 的 错误 信息 。 这 是 由 于 容器 在 启动 时 尝试 











在 不 具备 图 形 化 支持 的 客户 端 上 执行 图 形 相关 的 操作 ( 例如 显示 启动 画面 ): 








<4>init: plymouth-upstart-bridge main process (5) terminated with 
status 1 

















你 可 以 不 去 管 它 ,等 待 这 些 错 误 信 息 超 时 , 或 是 禁用 启动 画面 。 具体 的 禁用 方法 在 不 同 的 发 要 
行 版 中 各 不 相同 。 相 关 文 件 可 能 存放 在 /etc/init 中 ,但 也 可 能 不 在 。 
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有 两 种 方法 可 以 进入 容器 。 


口 lxc-attach: 可 以 直接 附着 到 容器 中 的 root 用 户 。 
口 lxc-console: 打开 终端 ， 进 入 容 需 中 的 登录 会 话 。 


直接 附着 到 容器 中 的 root 用 户 ， 创 建新 用 户 


# lxc-attach -n containerName 

root@containerName:/# 

root@containerName:/# useradd -d /home/USERNAME -m USERNAME 
root@containerName:/# passwd USERNAME 

Enter new UNIX password: 

Retype new UNIX password: 


然后 使 用 1xc-console 命 令 ， 以 之 前 创建 的 非特 权 用 户 或 root 用 户 身 份 登录 : 























$ lxc-console -n containerName 
Connected to tty 1 

Type <Ctrl+a q> to exit the console, 
<Ctrl+aCtrl+ta> to enter Ctrl+ta itself 
Login: 


3. 停止 容器 





1]xc-stop 命 令 可 以 停止 容器 运行 : 
# lxc-stop -n containerName 
4 . 列 出 现 有 容器 


LIxc-1s 命 令 可 以 列 出 当前 用 户 可 用 的 容器 名 称 。 这 些 容 器 只 是 当前 用 户 所 拥有 的 ， 并 非 系 
统 中 所 有 的 容 融 : 


$ lxc-ls 
containerlName container2Name... 




















5. 显示 容器 信息 


1xc-info 命 令 可 以 显示 容器 信息 





$ lxc-info -n containerName 
Name: testContainer 
State: STOPPED 


该 命令 只 会 显示 单个 容器 的 信息 。 我们 可 以 利用 第 1 章 中 讲 过 的 shell 循 环 显 示 出 所 有 的 容器 信息 : 








$ for c in ‘lxc-ls. 
do 

lxc-info -n $c 
echo 

done 

Name: namel 
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State: STOPPED 


Name: Dame2 
State: RUNNING 
PID: 1234 
IP 10.0.3.225 
CPU use: 4.48 seconds 
BlkIO use: 728.00 KiB 
Memory use: 15.07 MiB 
KMem use: 2.40 MiB 
Link: vethMU5I00 
TX bytes: 20.48 KiB 
RX bytes: 30.01 KiB 
Total bytes: 50.49 KiB 


如 果 容 器 处 于 停止 状态 ， 则 不 会 有 状态 信息 输出 。 正 在 运行 的 容器 会 记录 其 CPU、 内 存 、 磁 
IO 以 及 网 络 使 用 信息 。 这 个 工具 可 以 让 你 监视 最 活跃 的 容器 。 














陆 


6. 创建 非特 权 容器 


非特 权 容器 推荐 用 于 普通 用 途 。 错误 配 置 的 容器 或 应 用 程序 有 可 能 会 导致 容 右 失控 。 因 为 容 
器 使 用 的 是 内 核 的 系统 调用 ， 如 果 容 器 是 以 root 权 限 运行 ,那么 系统 调用 的 权限 同样 也 是 root。 
但 非特 权 容 器 使 用 的 是 普通 用 户 权限 ， 因 此 要 更 安全 。 


主机 必须 支持 Linux 控 制 组 (Linux Control Group ) 以 及 uid 映 射 才能 够 创建 非特 权 容器 ,Ubuntu 
发 行 版 本 身 已 经 包含 了 这 方面 的 支持 ， 其 他 发 行 版 需要 自行 添加 。 有 些 发 行 版 中 并 没有 
cgmanager 包 。 这 个 包 是 启动 非特 权 容 器 的 前 提 条 件 : 



































# apt-get install cgmanager uidmap systemd-services 

启动 cgmanager: 

$ sudo service cgmanager start 

Debian 系 统 可 能 还 需要 启用 克隆 支持 。 如 果 在 创建 容器 时 出 现 chown 错 误 ， 使 用 下 面 的 命令 
来 解决 : 


# echo 1 > /sys/fs/cgroup/cpuset/cgroup.clone children 
# echo 1 > /proc/sys/kernel/unprivileged userns clone 


人 允许 创建 容器 的 用 户 名 必须 包含 在 /etc 下 的 映射 表 中 : 


$ sudo usermod --add-subuids 100000-165536 $USER 
$ sudo usermod --add-subgids 100000-165536 $USER 
$ sudo chmod +x $HOME 


上 述 命令 将 用 户 添加 到 User ID 和 Group ID 映射 表 中 ( /etc/subuid 和 /etc/subgid ) 并 将 范围 在 
100 000 至 165 536 之 间 的 UID 分 配给 该 用 户 。 
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接 下 来 ,设置 容 右 的 配置 文件 : 





$ mkdir ~/.config/lxc 
$ cp /etc/lxc/default.conf ~/.config/lxc 


将 下 面 两 行 添加 到 ~/.config/lxc/default.conf: 


u0 100000 65536 
g0 100000 65536 


lxc.id map 
lxc.id map 


如 果 容 需 支 持 网 络 访问 , 将 下 面 一 行 添加 到 /etc/lxc/lxc-usernet, 该 行 定 义 了 谁 能 够 访问 网 桥 : 





USERNAME veth BRIDGENAME COUNT 


在 这 里 ，USERNAME 是 容器 的 所 有 者 。veth 是 虚拟 以 太 网 设备 的 常用 名 称 。BRIDGENAME 是 
ifconfig 显 示 的 名 称 ， 一 般 是 pr0 或 1xcbro。CoUNT 是 允许 的 并 发 连接 数 : 






























































$ cat /etc/lxc/lxc-usernet 
Clif veth lxcbr0 10 


7. 创建 网 桥 

容器 不 能 直接 访问 以 太 网 适配器 。 它 需要 在 虚拟 以 太 网 和 真实 以 太 网 之 间 搭 建 一 个 桥梁 。 最 
近 的 Ubuntu 发 行 版 会 在 安装 1xc 包 的 时 候 自 动 创建 网 桥 。Debian 和 Fedora 需 要 手动 创建 网 桥 。 在 
Fedora 中 创建 网 桥 时 ， 首 先 需 要 使 用 1ibvirt 包 创建 虚拟 网 桥 : 


# SYSstemct1 start libvirtd 


然后 ， 编 辑 /etc/lxc/defaultconf， 将 其 中 的 引用 由 1xcbr0 改 为 virbr0: 

















lxc.network link = virbr0 

如 果 你 已 经 创建 好 了 容器 ， 按 照 上 面 的 方法 修改 容器 的 配置 文件 。 

在 Debian 系 统 中 创建 网 桥 时 ， 必 须 编 辑 网 络 配置 文件 以 及 容器 配置 文件 。 

编辑 /etc/lxc/defaultconf， 将 默认 值 为 empty 的 配置 项 注释 掉 ， 然 后 加 入 lxc 网 桥 的 定义 : 





























# xc .network .上 type = empty 
1Lxc .network.type veth 
lxc.network.1link lxcbr0 
lxc.network.flage = up 


接 下 来 ,创建 网 桥 : 


# systemctl enable lxc-net 
# systemctl1 start lxc-net 


经 过 这 些 设置 之 后 ， 新 创建 的 容器 就 可 以 联网 了 。 将 Ixcnetwork 这 几 行 加 入 到 已 有 容器 的 配 
置 文件 中 ， 就 可 以 为 其 添加 网 络 支 持 。 
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13.2.3 ”工作 原理 


1xc-create 命 令 所 创建 的 容器 是 一 个 目录 树 , 其 中 包含 了 配置 选项 以 及 容 需 的 根 文件 系统 。 
特权 上 容 融 位 于 /varvlib/lxc。 非 特权 容 需 位 于 $HOME/.locallxc: 





$ ls /var/lib/lxc/CONTAINERNAME 
configrootfs 


你 可 以 通过 编辑 容器 顶层 目录 下 的 config 文 件 来 检查 或 修改 容器 的 配置 : 
# vim /var/lib/lxc/CONTAINERNAME/config 
rootfs 目 录 中 包含 的 就 是 容器 的 根 文件 系统 。 其 内 容 正 是 运行 中 的 容器 的 根 目录 (/): 


# ls /var/lib/lxc/CONTAINERNAME/rootfs 
Bin boot cdrom dev etc home 1lib media mnt proc 
Root run sbin sys tmp usr var 


你 可 以 通过 添加 、 删 除 或 修改 rootfs 目 录 中 的 文件 来 改变 容器 的 内 容 。 例 如 ， 要 想 运行 Web 
服务 , 容 需 可 以 利用 包 管 理 需 来 安装 基本 的 Web 服 务 , 通过 将 文件 复制 到 rootfs 目 录 来 提供 服务 所 
用 到 的 实际 数据 。 





























13.3 ”使 用 Docker 


lxc 容 器 非常 复杂 ， 不易 使 用 。 这 就 催生 出 了 Docker。Docker 使 用 了 相同 的 Linux 底 层 功能 
(namespaces 和 cgroups ) 来 创建 轻 量 级 容 货 。 


Docker 只 正式 支持 64 位 系统 ， 对 于 遗留 系统 来 说 ，lxc 是 一 种 更 好 的 选择 。 


Docker 容 器 和 lxc 容 器 的 主要 区 别 在 于 前 者 通常 只 使 用 一 个 进程 , 而 后 者 要 使 用 多 个 。 要 部 署 
一 个 带 有 数据 库 支 撑 的 Web 服 务 器 ， 你 需要 至 少 两 个 Docker 容 器 : 一 个 用 于 Web 服 务 器 ， 另 一 个 
用 于 数据 库 服 务 器 。 如 果 使 用 lxc 容 器 的 话 ， 一 个 就 够 了 。 

Docker 的 设计 哲学 使 得 我 们 很 容易 从 小 的 构建 块 (buildingblock ) 入 手 来 构造 系统 ， 但 也 1 
加 了 开发 构建 块 的 难度 ， 因 为 在 完整 的 Linux 系 统 中 (包括 crontab 表 项 )， 需 要 运行 大 量 的 工 上 
来 执行 清理 、 日 志 回 卷 等 操作 。 

创建 好 Docker 容 器 之 后 ， 其 行为 在 其 他 Docker 服 务 器 上 也 不 会 出 现 变化 。 这 使 得 在 云端 或 远 
程 站 点 上 部 署 Docker 容 器 变 得 非常 简单 。 

















罗 噬 





4 











13.3.1 预备 知识 
大 多 数 发 行 版 中 都 没有 安装 Docker。 它 是 通过 自己 的 Docker 仓 库 发 布 的 。 因 此 需要 在 包 管理 
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器 中 添加 新 的 仓库 以 及 校 验 和 。 
Docker 在 其 主页 上 针对 每 种 发 行 版 以 及 不 同 的 版 本 都 给 出 了 操作 指南 ， 请 参阅 http:/docs. 


docker.com。 











13.3.2 ”实战 演练 
首次 安装 好 Docker 之 后 ， 它 并 不 会 自动 运行 。 你 必须 使 用 下 列 命令 来 启动 服务 器 : 








# service docker start 





Docker 命 令 有 很 多 子 命令 , 提供 了 各 种 功能 。 这 些 命令 会 查找 Docker 容 器 , 然后 下 载 并 运行 。 
下 面 给 出 了 其 中 几 个 子 命令 。 


口 docker search: 从 Docker 归 档 (Docker archive) 中 查找 指定 的 容器 。 
口 docker pull: 将 指定 名 称 的 容器 拉 取 到 系统 中 。 

口 docker run: 运行 容 需 中 的 应 用 程序 。 

D dockerps: 列 出 正在 运行 的 Docker 容 器 。 

口 docker attach: 附着 到 正在 运行 的 容 央 。 

口 docker stop: 停止 容 絮 。 

口 dockerrm: 删除 容 需 。 


Docker 默 认 要 求 以 root 身 份 或 是 使 用 sudo 执 行 docker 命 令 。 


每 个 命令 都 有 相应 的 手册 页 。 将 命令 名 与 子 命令 名 用 连 字符 连 起 来 就 是 命令 的 手册 页 名 。 如 
果 要 查看 docker search 的 手册 页 ， 使 用 命令 man docker-search。 



























































接 下 来 将 演示 如 何 下 载 并 运行 Docker 容 髓 。 
1. 查找 容器 


docker search 命 令 会 返回 匹配 指定 关键 字 的 Docker 容 器 列表 : 





docker search TERM 
这 里 ，TERM 是 一 个 包含 字母 和 数字 的 字符 串 (不 支持 通配符 )。 
下 面 的 search 命 令 返 回 了 25 个 名 称 中 包含 指定 字符 串 的 容器 : 


# docker search apache 














NAME DESCRIPTION STARS OFFICIAL AUTOMATED 
eboraas/apache Apache (with SSL support) 70 [OK] 
bitnami/apache Bitnami Apache Docker 25 [OK] 
apache/nutch Apache Nutch 12 [OK] 
apache/marmotta Apache Marmotta 4 [OK] 


lephare/apache Apache container 3 [OK] 
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其 中 ，STARS 表 示 的 是 该 容器 的 评级 。 返 回 的 容器 列表 中 ， 评 价 最 高 的 容器 排 在 最 前 面 。 


2. 下 载 容 器 





docker pull 命 令 可 以 从 Docker registry 下 载 容器 。 默 认 情 况 下 ， 它 会 从 位 于 registry- 
1.dockerio 的 Docker 公 共 registry 中 拉 取 数据 。 下 载 到 的 容器 会 被 添加 到 本 地 系统 ， 通 常 保存 在 
/var/lib/docker: 

# docker pull lephare/apache 


latest: Pulling from lephare/apache 
425e28bb756f: Pull complete 


ce4a2c3907b1: Extracting [======================> ] 2.522 MB/2.522 MB 
40e152766c6c: Downloading [==================> ] 2.333 MB/5.416 MB 
db2f8d577dce: Download complete 

Digest: 


sha256:ella0f7e53b34584f6a71l4cc4dfa383cbd6aef1f542bacf69f5fccefa0108ff8 
Status: Image is up to date for lephare/apache:latest 


3. 启动 Docker 容 器 











docker zun 命 令 可 以 在 容器 中 启动 一 个 进程 。 该 进程 通常 是 bash shell， 这 使 得 你 可 以 附着 
在 容器 上 并 启动 其 他 进程 。 命 令 会 返回 一 个 定义 了 此 次 会 话 的 散 列 值 。 


局 动 Docker 容 器 时 ， 会 自动 为 其 创建 网 络 连接 。 


docker run 命 令 的 语法 如 下 : 











docker run [OPTIONS] CONTAINER COMMAND 
命令 支持 的 选项 如 下 : 
口 -t: 分 配 一 个 伪 终端 (默认 不 分 配 )。 
口 i; 在 处 于 未 附着 状态 时 仍旧 打开 交互 式 会 话 。 
口 a: 以 非 附着 方式 局 动容 需 〈 在 后 台 运 行 )。 
口 --name : 为 容器 实例 分 配 名 称 。 


下 面 的 例子 在 之 前 拉 取 到 的 容器 中 启动 了 bash shell: 


# docker run -t -i -d --name lephl lephare/apache /bin/bash 
1d862d7552bcaadf5311c96d439378617d85593843131ad499... 


4. 列 出 Docker 会 话 








dockerps 命 令 可 以 列 出 当前 运行 的 Docker 会 话 : 


# docker ps 
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 
123456abc lephare/apache /bin/bash 10:05 up 80/tcp lephl 














选项 -a 可 以 列 出 系统 中 所 有 的 Docker 容 器 ， 不 管 这 些 容 器 是 否 正在 运行 。 
5. 将 输出 附着 在 运行 的 容器 


docker attach 命 令 可 以 将 输出 附着 在 正在 运行 的 容 右 中 的 tty 会 话 上 。 你 需要 在 容器 中 具 
备 root 权 限 。 


输入 ^P^Q， 退 出 所 附着 的 容器 。 
下 面 的 例子 中 创建 了 一 个 HTML 页 面 ， 然 后 在 容器 中 启动 了 Apache Web 服 务 器 


$ docker attach JIephl 
rootQ@131aaaeeac79:/# cd /var/www 
root@1l31laaaeeac79:/var/www# mkdir symfony 
root@1l31laaaeeac79:/var/www# mkdir symfony/web 
root@1l31laaaeeac79:/var/www# cd symfony/web 
root@1l31laaaeeac79:/var/www/symfony/web# echo "<html><body><hl>It's 
Alive</h1l></body></html>" 

>index.html 
root@1l31laaaeeac79:/# cd /etc/init.d 
root@1l31laaaeeac79:/etc/init.d# ./apache2 start 
[....] Starting web server: apache2/usr/sbin/apache2ct1: 87: ulimit: error 
setting limit (Operation 

not permitted) 
Setting ulimit failed. See README .Debian for more information. 
AH00558: apache2: Could not reliably determine the server's fully qualified 
domain name, using 

172.17.0.5. Set the 'ServerName' directive globally to suppress this 
message 
. Ok 


浏览 172.17.0.5， 会 显示 出 内 容 为 It's Alive 的 页 面 。 





6. 停止 Docker 会 话 
docker stop 命 令 可 以 终止 正在 运行 的 Docker 会 话 : 
# docker stop lephl 


7. 删除 Docker 实 例 


dockerzrm 命 令 可 以 删除 容器 。 在 删除 之 前 必须 先 将 其 停止 。 使 用 容器 名 或 标识 符 都 可 以 完 
成 删除 操作 : 


# dockerrm lephl 


或 者 





# docker rm 131aaaeeac79 
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13.3.3 ”工作 原理 


Docker 容 器 和 lxc 容 器 一 样 都 利用 了 内 核 的 namespace 和 cgroup 支 持 。Docker 起 初 只 是 lxc 
之 上 的 一 个 软件 层 ， 但 现在 已 经 演化 成 为 一 个 独立 的 系统 。 


Docker 服 务 需 的 主要 配置 文件 位 于 /varlib/docker 和 /etc/docker。 























13.4 在 Linux 中 使 用 虚拟 机 


在 Linux 中 使 用 虚拟 机 共有 4 种 选择 。 前 3 种 开源 方案 分 别 是 KVM、XEN 和 VirtualBox。 后 一 
种 商业 方案 是 VMware， 它 提供 了 一 个 客居 于 (hosted ) Linux 系 统 的 虚拟 化 引 警 和 一 个 能 够 运行 
虚拟 机 的 可 执行 程序 。 


VMware 支持 虚拟 机 的 历史 比 其 他 对 手 都 要 久 。 它 支持 Unix、Linux 、Mac OS X 和 Windows 
作为 宿主 系统 (host )，Unix、Linux 和 Windows 作 为 宾客 系统 ( guest )。 就 商业 应 用 而 言 ,，VMware 
Player 和 VMware Workstation 是 两 种 最 佳 选择 。 








KVM 和 VirtualBox 是 Linux 中 最 流行 的 两 个 虚拟 机 引擎。KVM 的 性 能 要 更 好 ， 但 是 要 求 CPU 
支持 虚拟 化 (Intel VT-x )。 如 今 大 多 数 Intel 和 AMD 的 CPU 都 支持 该 特性 。VirtualBox 的 优势 在 于 
跨 平台 : Windows 和 Mac OS 义 下 也 可 以 使 用 , 便于 将 虚拟 机 挪 到 其 他 平台 。VirtualBox 不 要 求 VT-x 
支持 ， 因 此 既 适 合 于 遗留 系统 ， 也 适合 于 现代 系统 。 


13.4.1 ”预备 知识 
大 多 数 发 行 版 都 支持 VirtualBox， 但 未 必 在 发 行 版 的 默认 仓库 中 都 包含 该 软件 。 


如 果 要 在 Debian 9 上 安装 VirtualBox， 需 要 添加 virtualbox.org 的 仓库 : 





# vi /etc/apt/sources.l1ist 
## ADD: 
deb http://download.virtualbox.org/virtualbox/debian stretch contrib 


需要 使 用 cur1 包 来 安装 相应 的 密 钥 。 如 果 还 没有 安装 这 个 包 ， 先 安装 ， 再 添加 密 钥 并 更 新 
仓库 信息 : 

# apt-get install curl 

# curl -0O https://www.virtualbox.org/download/oracle vbox 2016.asc 


# apt-key add oracle vbox 2016.asc 
# apt-get update 


更 新 过 仓库 之 后 ， 使 用 apt -get 安 装 VirtualBox: 
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# apt-get install virtualbox-5.1 


OpenSsusE 

# ZzZypper install gcc make kernel-devel 

Open yast2, select Software Management, search for virtualbox. 
Select virtualbox, virtualbox-host-kmp-default, and virtualbox-qat. 


13.4.2 ”实战 演练 


安装 好 VirtualBox 之 后 ， 开 始 菜 单 中 会 出 现 相应 的 菜单 项 ， 可 能 是 在 System 或 Applications/ 
System Tools 的 下 面 。 在 终端 中 输入 virtualbox 或 VirtualBox 也 可 以 启动 软件 的 图 形 界面 。 


VirutalBox 采 用 的 图 形 用 户 界面 使 得 我 们 很 容易 创建 及 运行 虚拟 机 。 在 界面 的 左上 方 有 一 个 
名 为 New 的 按钮 ， 可 用 于 创建 空白 的 新 虚拟 机 。 设 置 向 导 会 提示 你 有 关 新 虚拟 机 内 存 以 及 磁盘 等 
方面 的 限制 。 


虚拟 机 创建 好 之 后 ，Start 按 钮 就 可 以 点 击 了 。 黑 认 会 将 虚拟 机 的 CD-ROM 连 接 到 宿主 机 的 
CD-ROM。 你 可 以 将 安装 光盘 放 和 人 CD-ROM， 然 后 点 击 Start， 开 始 在 新 虚拟 机 中 安装 操作 系统 。 




















13.5 “云端 的 Linux 

使 用 云 服务 器 的 原因 主要 有 两 个 。 服 务 供应 商 采用 了 商业 化 的 云 服 务 ( 例如 亚马逊 的 AWS )， 
因为 这 可 以 使 服务 商 根据 需求 量 的 大 小 轻松 地 增加 或 减少 资源 、 节 省 成 本 。 云 存储 供应 商 (例如 
Google Docs ) 允许 用 户 使 用 任何 设备 访问 及 分 享 个 人 数据 。 

OwnCloud 包 可 以 将 Linux 服 务 器 转换 成 私有 云 存储 系统 。 你 可 以 使 用 OwnCloud 服 务 器 作为 公 
司 私有 的 文件 共享 系统 ， 或 是 用 作 手 机 、 平 板 电脑 的 远程 备份 。 


OwnCloud 项 目 诞 生 于 2016 年 。NextCloud 服 务 器 和 应 用 有 望 采 用 和 OwnCloud 相 同 的 协议 , 这 
使 得 两 者 可 以 实现 数据 的 互 换 。 




















13.5.1 预备 知识 

运行 OwnCloud 要 求 事先 安装 好 LAMP (Linux 、Apache、MySQL 、PHP )。 所 有 的 Linux 发 行 
版 都 支持 这 些 包 ， 只 不 过 有 些 可 能 并 没有 默认 安装 。 在 第 10 章 中 ， 我 们 已 经 讲 过 了 MySQL 的 安 
装 与 管理 。 


大 多 数 发 行 版 的 仓库 中 并 没有 OwnCloud 服 务 器 。 不 过 OwnCloud 项 目 维护 了 自己 的 仓库 ,用 
于 支持 各 种 发 行 版 。 在 安装 之 前 ， 你 需要 自行 添加 OwnCloud 仓 库 。 
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1. Ubuntu 16.10 


可 以 按照 下 列 步 又 在 Ubuntu 16.10 上 安装 LAMP。 对 于 其 他 基于 Debian 的 系统 , 所 使 用 的 命令 
也 差不多 。 只 是 包 的 名 字 在 不 同 的 发 行 版 之 间 会 有 所 不 同 : 





apt-get install apache2 
apt-get install mysql-server php-mysql 


默认 设置 无 法 满足 OwnCloud 的 安全 要 求 。mysql_secure_ installation 脚 本 可 以 对 MySQL 作 出 相 
应 的 配置 : 


/usr/bin/mysql_secure installation 


配置 OwnCloud 仓 库 : 











curl \ https://download.owncloud.org/download/repositories/stable/ \ 
Ubuntu_ 16.10/Release.key/'| sudo tee \ 
/etc/apt/sources.list.d/owncloud.1ist 


apt-get update 


设置 好 仓库 之 后 ， 就 可 以 安装 并 启动 服务 器 了 : 








apt-get install owncloud 


2. OpenSuSE Tumbleweed 





可 以 使 用 Yast2 在 OpenSuSE 上 安装 LAMP。 打 开 yast2， 选 择 Software Management， 然 后 安装 


apache2、mysql 和 owncloud-client。 














接着 选中 System 标 签 ， 从 中 再 选择 Services Manager 标 签 。 确 定 mysql 和 apache2 都 已 经 启用 且 
处 于 活动 状态 。 
安装 好 OwnCloud 之 后 就 可 以 将 你 的 工作 同步 到 OwnCloud 服 务 器 上 了 。 另 外 还 需要 安装 服务 器 。 


























OwnCloud 在 安全 方面 的 要 求 比 默认 设置 要 高 。 需 要 使 用 脚本 mysql_secure_installation 来 配置 
MySQL: 

/usr/bin/mysql_ secure installation 

按照 下 面 的 步骤 安装 并 启动 OwnCloud 服 务 器 。 前 3 条 命令 用 于 配置 zypper， 使 其 包含 Own 
Cloud 仓 库 。 添 加 好 仓库 之 后 ， 就 可 以 向 平常 那样 安装 OwnCloud 包 了 : 


























rpm --import 
https://download.owncloud.org/download/repositories/stable/openSUSE Leap_ 42 
.2/repodata/repomd .xml .key 


Zypperaddrepo 
http://download.owncloud.org/download/repositories/stable/openSUSE Leap_ 42 
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.2/ce:stable.repo 
Zzypper refresh 


Zypper install owncloud 


13.5.2 ”实战 演练 


安装 好 OwnCloud 之 后 就 可 以 配置 管理 员 账 户 并 添加 用 户 了 。 安 卓 版 的 NextCloud app 可 以 与 
OwnCloud 服 务 器 和 NextCloud 服 务 器 通信 。 








配置 OwnCloud 
OwnCloud 安 装 完毕 之 后 ， 可 以 在 浏览 絮 中 输入 本 地 地 址 进行 配置 : 





$ konqueror http://127.0.0.1/owncloud 


一 开始 会 提示 输入 管理 员 用 户 名 和 密码 。 登 录 之 后 就 可 以 创建 备份 , 在 手机 、 平 板 电脑 和 计 
算 机 之 间 复 制 数据 了 。 




















13.5.3 ”补充 内 容 


之 前 演示 的 安装 过 程 适合 用 测试 。OwnCloud 和 NextCloud 都 可 以 使 用 HTTPS 会 话 ( 如 果 
HTTPS 可 用 的 话 )。 启 用 HTTPS 支 持 需 要 有 X.509 证 书 。 


你 可 以 从 商业 公司 购买 安全 证 书 , 然后 制作 供 自 己 使 用 的 自 签名 证 书 , 或 者 也 可 以 使 用 Let's 
Encrypt ( http://letsencrypt.org ) 创建 免费 证 书 。 


自 签名 证 书 足 够 测试 用 途 了 ， 但 是 大 部 分 浏览 器 和 手机 App 将 其 标 为 不 可 信任 站 点 。Let’s 
Encrypt 是 Internet 安 全 研究 小 组 ( Internet Security Research Group ，ISRG ) 提供 的 一 项 服务 。 由 其 
生成 的 证 书 经 过 了 完全 注册 ， 所 有 的 应 用 程序 都 能 够 接受 。 


获取 证 书 的 第 一 步 是 验证 站 点 是 否 属实 。Let"s Encrypt 证 书 利用 一 个 叫 作 自动 证 书 管理 环境 
( Automated Certificate Management Environment，ACME ) 的 系统 来 完成 验证 。ACME 系 统 会 在 你 
的 Web 服 务 器 中 创建 一 个 隐藏 文件 ， 然 后 告诉 证 书 认证 机 构 ( Certificate Authority，CA ) 这 个 文 
件 的 位 置 ，CA 会 对 此 进行 确认 。 这 样 就 证 明了 你 拥有 该 Web 服 务 器 的 访问 权 ，DNS 记 录 的 指 癌 
也 没有 问题 。 


如 果 你 使 用 的 是 常见 的 Web 服 务 器 ， 例 如 Nginx 或 Apache， 设 置 证 书 最 简单 的 方法 就 是 使 用 


EFF (Electronic Frontier Foundation ) 的 certbot: 

























































































# wget https://dl.eff.org/certbot-auto 
# chmod a+x certbot-auto 
# ./certbot-auto 
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该 程序 会 添加 新 的 软件 包 并 将 新 证 书 安装 到 合适 的 位 置 。 


如 果 你 使 用 的 Web 服 务 器 不 太 常 见 , 或 是 采用 了 非 标准 化 安装 ，getssl 软 件 包 的 可 配置 程度 更 
高 。getssl 软 件 包 是 一 个 bash 脚 本 ， 它 会 读 取 两 个 配置 文件 来 自动 创建 证 书 。 可 以 从 https:/ 
github.com/ srvrco/getssl 下 载 该 软件 包 并 解压 缩 。 


解压 缩 getssl.zip 后 生成 一 个 名 为 getssl_master 的 目录 。 
生成 和 安装 证 书 需要 执行 以 下 3 个 步骤 。 


(1) 使 用 getss1 -c _ DOMAIN . com 创建 默认 的 配置 文件 。 
(2) 编辑 配置 文件 。 
(3) 创建 证 书 。 


切换 进 getssl master 目 录 ， 创 建 配置 文件 : 





















































# cd getssl master 
# getssl -c DOMAIN.com 


将 其 中 的 DOMAIN 蔡 换 成 你 自己 的 域名 。 


这 一 步 会 创建 ;HOME/getss1 和 $HOME/.getssVDOMAIN.COM 目 录 并 分 别 在 其 中 生成 文件 
getssl.cfg。 这 两 个 文件 都 必须 得 编辑 。 


编辑 ~/.getssl/getssl.cfg， 加 入 你 的 电子 邮件 地 址 : 
ACCOUNT EMAIL='myName@mySite .com' 
其 余 字 段 的 默认 值 适用 于 大 部 分 站 点 。 


接 下 来 编辑 ~/.getssVDOMAIN.comy/getssl.cfg。 这 个 文件 需要 修改 多 个 字段 。 





SN 




















主要 是 要 设置 Acme Challenge Location ( ACL ) 字段 。ACME 协 议会 尝试 在 http:/www.DOMAIN. 
com/.welL-known/acme-challenge 中 查找 文件 。ACL 字 段 的 值 是 该 目录 在 系统 中 的 实际 位 置 。 你 必须 
创建 .wellknown 和 .well-known/acme-challenge 目 录 并 设置 所 有 权 ( 如 果 这 两 个 目录 不 存在 的 话 )。 


如 果 Web 页 面 保存 在 /var/web/DOMAIN， 你 可 以 像 下 面 这 样 做 : 




















# mkdir /var/web/DOMAIN/ .well-known 

# mkdir /var/web/DOMAIN/ .well-known/acme-challenge 

# chownwebUser .webGroup /var/web/DOMAIN/ .well-known 

# chownwebUser.webGroup /var/web/DOMAIN/ .well-known/acme-challenge 


ACL 设 置 类 似 如 下 : 





ACL="/var/web/DOMAIN/ .well-known/acme-challenge" 
USE_SINGLE ACL="true" 
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你 还 得 定义 证 书 的 存放 位 置 。 该 位 置 必须 和 Web 服 务 器 的 配置 相符 。 例 如 ， 如 果 证 书 被 存放 
在 wwerweb/certs ， 那 么 应 该 像 下 面 这 样 设置 ; 














DOMAIN CERT LOCATION="/var/web/certs/DOMAIN.crt" 
DOMAIN KEY LOCATION="/var/web/certs/DOMAIN.Kkey" 
CA_CERT LOCATION="/var/web/certs/DOMAIN.com.bundle" 


另外 还 必须 设置 ACME 协 议 的 测试 类 型 。 只 需要 取消 配置 文件 末尾 两 行 的 注释 就 行 了 。 其 默 
认 值 效果 通常 最 好 是 : 


SERVER_TYPE="https" 
CHECK REMOTE="true" 


完成 上 述 编辑 步 又 后 ， 执 行 下 列 命令 测试 : 




















./getssl DOMAIN .com 

该 命令 和 之 前 第 一 个 命令 很 像 ， 但 是 不 包含 -c (create ) 选项 。 你 可 以 不 停 地 执行 这 条 命令 ， 
直到 解决 出 现 的 所 有 错误 ， 得 到 想 要 的 结 

getss1 脚 本 默认 所 生成 的 测试 证 书 其 实 并 不 合法 。 这 是 因为 Lets Encrypt 为 了 避免 出 现 滥用 
证 书 的 现象 ， 限 制 了 真正 的 站 点 证 书 的 生成 数量 。 

如 果 配 置 文件 没有 问题 ， 修 改 其 中 的 服务 器 字段 ， 将 其 改 为 实际 的 Let's Encrypt 服 务 顺 : 


























CA="https://acme-v0l.api.letsencrypt .org" 


最 后 再 运行 一 次 带 有 -tf 选项 getss1 脚 本 ， 强 制 重建 并 替换 掉 之 前 的 文件 : 














./getssl -上 DOMAIN .com 


你 可 能 需要 重启 Web 服 务 器 或 系统 才能 识别 新 的 文件 。 
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